הסתברות לתלמידי מדעי-המחשב

Transcript

1 הסתברות לתלמידי מדעי-המחשב סיכום קורס מפי ד"ר לובה ספיר סמסטר א', תשע"ה אוניברסיטת בן-גוריון בנגב מס' קורס --93 סוכם ע"י: אסף של וש מקרא צבעים: כחול הגדרות ומונחים שמופיעים לראשונה; אדום משפט, למה, טענה; ירוק מסקנה, הערה השתדלתי להיות נאמן למקור, מדי פעם אני מוסיף הערות והארות משלי. ההרצאות כוללות מידע רב, ולכן ייתכן כי נפלו טעויות בהעתקה מהלוח. איורים: ד"ר ספיר, ליאת גופשטיין, לירז יהוד.

2 תוכן עניינים הרצאה מס'...4 מושגים בסיסיים...4 הרצאה מס'...8 הרצאה מס'... 3 הגדרה גיאומטרית להסתברות... 4 הרצאה מס'... 4 תכונות של הסתברות חזרה והרחבה... 5 למת הרציפות:... הרצאה מס'... 8 הסתברות מותנית... 8 נוסחת הכפל... הרצאה מס'... נוסחת ההסתברות השלמה... נוסחת בייס 3... )Bayes( הרצאה מס' אי-תלות בין מאורעות... 4 אי-תלות בין שלושה מאורעות... סדרת ניסויים ב"ת... 7 סדרת ניסויי ברנולי... 7 הרצאה מס'... 8 משתנים מקריים... הרצאה מס' פונקציית התפלגות... 3 התפלגויות בדידות מיוחדות הרצאה מס'... 3 התפלגויות בדידות מיוחדות המשך... 3 הקשר בין התפלגות פואסון והתפלגות בינומית הרצאה מס'... 4 סיכום התפלגויות בדידות מיוחדות... 4 תהליך פואסון... 4 תוחלת הרצאה מס'... //4 44 תוחלת של טרנספורמציה h(x)... Y = 4 הרצאה מס' תכונות של תוחלת... 4 הרצאה מס' משתנים מקריים רציפים... 4 טבלת אנלוגיות בין התפלגויות בדידות לרציפות... 7 התפלגויות רציפות מיוחדות... 8

3 הרצאה מס'... המשך התפלגויות רציפות אחידות... הרצאה מס'... 3 תוחלת של משתנה מקרי רציף... 3 טרנספורמציה של משתנה מקרי... הרצאה מס' משתנה מקרי מעורב... 7 תוחלת של משתנה מקרי מעורב הרצאה מס' שונות של משתנה מקרי הרצאה מס'... 7 הרצאה מס' שונות ובעיות חיזוי תכונות של השונות הרצאה מס' תכונות נוספות של שונות משותפת המשמעות האינטואיטיבית של cov(x, Y) משתנים מקריים רב-מימדיים הרצאה מס'... משתנים מקריים בלתי-תלויים... הרצאה מס' מקדם המתאם... טבלת אנלוגיות בין מ"מ דו-מימדיים רציפים ובדידים... 7 הרצאה מס' טרנספורמציות של מ"מ ב"ת... הרצאה מס'... 3 אי-שוויונים יסודיים בהסתברות... 3 הרצאה מס'... 7 משפט הגבול המרכזי... בקריאת המסמך כקובץ PDF במחשב, הנושאים בתוכן העניינים אינטראקטיביים, ולחיצה עליהם תוביל ישירות לעמוד הרלוונטי בסיכום. 3

4 הרצאה מס' מרצה: לובה ספיר מייל: שעות קבלה: :-3:, :-:, בניין 8 חדר - אתר הקורס יתנהל במודל. מבנה הציון: בוחן %, מבחן מסכם 8%. הבוחן מתוכנן ל- / בשעה 8:. מטלות חשובות ללא הגשה: שיעורי בית, תרגולים ותרגילים. קצת פילוסופיה: אז למה לומדים הסתברות? כי זה קורס חובה יש קורסים בהמשך התואר שמשתמשים בכלים הסתברותיים ודורשים ידע מקדים בהסתברות.. מושגים בסיסיים מבצעים ניסוי בעל מס' תוצאות אפשריות, שאין לדעת מראש איזה תוצאה תתקבל. נדון באובייקט. Ω, F, P הגדרה: מרחב המדגם Ω של הניסוי הינו אוסף כל התוצאות האפשריות בניסוי. כל נקודה ω Ω מייצגת תוצאה אפשרית )מאורע בסיסי(. הגדרה: מאורע הינו תת-קבוצה של Ω )המאורע הבלתי-אפשרי( וגם Ω )המאורע הוודאי(. דוגמות: )ההגדרה אינה מדויקת( המסומנת ע"י,B,A. יכול להיות גם מטילים קובייה פעם אחת. נגדיר: ω = "", ω = "", Ω = {ω, ω,, ω 6 } ;A = {w, w 4, w 6 } הוא המאורע בו מתקבל מספר זוגי בהטלה, אז A B = {9 קטנה מ {תוצאה = Ω = {תוצאה שלילית} = C מטילים מטבע עשר פעמים, אז Ω מורכב מ- 4 = נקודות ויש 4 מאורעות שונים... הגדרה: Ω נקרא סופי אם מספר האיברים בו סופי. 4

5 הגדרה: Ω הוא סימטרי אם לכל תוצאה יש אותו סיכוי לקרות. הערה: לא כל מרחב מדגם סופי הוא מרחב מדגם סימטרי. דוגמה: קובייה מזויפת שבה המספר מופיע פעמיים. הגדרה: Ω נקרא בדיד אם מס' האיברים בו הוא בן-מנייה. אם Ω סופי, אז הוא בדיד. דוגמה: מטילים מטבע עד אשר מקבלים בפעם הראשונה "עץ". נקבל מספר בן-מנייה של תוצאות:,("עץ","פלי","פלי") = 3 ω,("עץ","פלי") = ω,"עץ" = ω Ω = {ω, ω, ω 3, } נגדיר: }, 4 {ω 3, ω = {יתקבל עץ לאחר שתי הטלות} = A לא כל מרחב מדגם הוא בדיד. דוגמות: משך עבודה של מכשיר מסוים. נקבל - { {t t Ω. = מודדים את כמות הגשם בשנה מסוימת ואת מס' הגשמים באותה השנה.. Ω = {(x, i) x, i =,,3, } מסובבים רולטה רציפה. תוצאת הסיבוב היא בחירת הזווית. יש רצף של תוצאות שניתן לראותן כאוסף של תוצאות על הקטע (,π]. מטילים מטבע אינסוף פעמים. מרחב המדגם מורכב מאוסף כל הסדרות מעל {T,H}, והוא בעל.3.4 עוצמת הרצף ℵ. הגדרה: פונקציית ההסתברות P היא פונקציה מאוסף המאורעות לקטע [,] המקיימת את הדרישות הבאות:.A לכל מאורע P(A) = P(Ω) כאשר Ω מאורע וודאי. לכל סדרה (A ) = זו נקראת σ -אדיטיביות. A ) = של מאורעות זרים בזוגות מתקיים ) P(A. תכונה P( = =...3 דוגמות: טענה :# - =.P( ) הוכחה: ע"י הפעלת תכונה מס' 3 לסדרה = A נקבל

6 תכונה 3 P( ) = P( ) = = לפי תכונה טענה #: כאשר ) A) מאורעות זרים בזוגות מתקיים P ( A i ) = P(A i ) i= הוכחה: תכונה מס' 3 נכונה גם עבור סדרה סופית של מאורעות זרים בזוגות. במקרה זה, התכונה נקראת Ω = A A וע"י הפעלת תכונה מס' 3 נקבל: i= תכונה 3 P ( A i ) = P ( A i ) = i= i= פשוט אדיטיביות. נבחר = k A לכל + k P(A i ) i= טענה = P(A i ) i= טענה :#3 P(A).P(A) = טענה A) = P(Ω) = P(A תכונה = P(A) + P(A) P(A) = P(A) הוכחה:. P(A) = A במרחב מדגם סימטרי הדרך הפשוטה ביותר להגדיר את ההסתברות למאורע היא ע"י Ω דוגמות:. קובייה מוטלת פעמיים. מה ההסתברות לתוצאות שוות בשתי ההטלות? פתרון: Ω = {(,), (,), (6,5), (6,6)} Ω = 6 = 36 A = {(,), (,),, (6,6)} A = 6 P(A) = 6 36 = 6 בוחרים באקראי 3 קלפים מתוך חפיסה של קלפים, ללא החזרתם לחפיסה. מה ההסתברות לכך שיבחרו כל הנסיכים, שלוש מלכות, "7" פעם אחת, "" פעמיים, ו-" 3 " שלוש פעמים? Ω = ( 5 3 ) פתרון: נניח שסדר הקלפים לא חשוב, אז:. ומספר האפשרויות השונות העונות לדרישה הוא:

7 ( 4 4 ) נסיכים ( 4 3 ) מלכות ( 4 ) "7" ( 4 ) "6" ( 4 3 ) = "6" אם הסדר חשוב אז נכפיל ב-! 3 עבור סידורים פנימיים. נניח שבכיתה יש תלמידים. מה ההסתברות שלפחות שניים מהתלמידים נולדו באותו תאריך? פתרון: {לפחות שני תלמידים נולדו באותו התאריך} = A. נקבל: {אין שני תלמידים שנולדו באותו התאריך} = A P(A) = P(A) = (365 + )

8 הרצאה מס' המשך משיעור קודם -. P(A) = A בשיעור הקודם דיברנו על-כך שבמרחב מדגם סימטרי, למאורע כלשהו A מתקיים Ω מטילים פעמים קובייה בעלת פאות אדומות, פאות אדומות, ו- פאות כחולות. ההסתברות P(A) שלא תהיינה שום שתי הטלות עוקבות בהן הקובייה אינה על פאה ירוקה? פתרון: ברור כי Ω. = 3 נניח כי = 3, אז נבחין בין מצבים: מה ω = (r, r, g), ω = (b, r, r).4 שתי סדרות ההטלות הנ"ל אינן טובות ע"פ ההגדרה, ולכן שייכות ל- A. כעת: ω = (b, g, r), ω 3 = (g, g, g) שתי סדרות ההטלות הנ"ל כן עונות להגדרה, ולכן שייכות ל- A. נסמן ב- a את מס' התוצאות ב- A. אזי: א. ב. אם בהטלה הראשונה התקבלה פאה ירוקה, אז יש a דרכים להמשיך. אם בהטלה הראשונה התקבלה פאה שאינה ירוקה, אז בהטלה השנייה חייבת להתקבל פאה ירוקה, ואז יש a דרכים להמשיך. קיבלנו נוסחת נסיגה ליניארית - 3.a = a + a, אפשר למצוא תנאי התחלה ואז להגיע לפתרון מפורש בהתאם לכלים שלמדנו בקורס קומבינטוריקה. תנאי ההתחלה הם a a a = x x = (x )(x + ) = a = A + B( ) { a = 3 = A B a = 5 = 4A + B = 5.a = 3, a נפתור באמצעות המשוואה האופיינית: A = 4 3, B = 3 a = ( )+ ולכן באמצעות נוסחת ההסתברות במרחב מדגם סימטרי: P(A) = a 3 = 4 3 ( 3 ) 3 ( 3 ) "בעיית הבחירות" בבחירות בין שני מועמדים זכה מועמד "א" ב- m קולות ומועמד "ב" ב- קולות, כאשר m. מה ההסתברות שבתהליך מניית הקולות לא הוביל מועמד ב' בשום שלב?. 8

9 פתרון: לדוגמה, אם = m =, אז הסדרה יכולה להיות: A ω = (a, a, b), ω = (a, b, a) A, ω 3 = (b, a, a). m + נקבל: ( = Ω ) באופן כללי, ניתן להתאים בין האפשרויות השונות לבין מסילות במישור המובילות מהנקודה (,) לנקודה (x, y) כאשר בכל שלב עוברים מנקודה,(m +, m ) לאחת הנקודות ) y.(x +, y + ), (x +, ההתאמה היא ע"י כך שבכל שלב בו הקול הוא לטובת מועמד "א", מגדילים את y ב-, אחרת מקטינים אותו ב-. נמחיש בהקשר לדוגמה הנ"ל: האפשרויות ה"טובות" )אדומות( העונות על התנאי הן אלו בהן בכל רישא של הסדרות מס' הקולות עבור מועמד "א" הינו לפחות מס' הקולות עבור מועמד "ב". במילים אחרות, מס' האפשרויות הטובות הינו מס' המסילות הנ"ל אשר אינן יורדות מתחת לציר x. נתבונן בקבוצת המסילות ה"לא טובות" )שחורות(. לכל מסילה כזו נתאים את המסילה הזהה לה, עד לירידה הראשונה מתחת לציר x, לנקודה מהצורה (,j) אשר ממשיכה לאחר-מכן ע"י שיקוף המסילה המקורית ביחס לישר = y. ע"י שיקוף זה מגיעים בסוף לנקודה ) m.(m +, זאת משום שמהנקודה ) (j, המסילה המקורית עולה מ- = y ל- y, = m ז"א בסה"כ עולה + m שלבים, ולכן המסילה החדשה תרד מאותה הנקודה. (m + ) = m שלבים. בסוף היא תגיע ל- m + יתרה מכך, ההתאמה בין המסילות ה"לא טובות" למסילות ה"חדשות" היא חח"ע ועל. המחשה: המסילה ה"לא טובה" היא המסילה השחורה, והמסילה ה"חדשה" שהינה שיקוף שלה ביחס לישר = y היא המסילה הכחולה.

10 מכיוון שמס' המסילות החדשות זהה למס' המסילות ה"לא טובות", נספור את מס' המסילות ω i החדשות: בכל מסילה חדשה יש עליות ו- + m ירידות. סה"כ מס' לאחר הראשון הירידות המקום מס' הירידות עד למקום הראשון ה"רעה" המקורית המסילה המסילה ω i ה"חדשה" j + j + (j, ) j + m j + m + m + + (m + )! (m + )! ( ) (m ) = m + m!! (m + )! ( )! = = (m + )! m!! m + m + (m + )! m!! + (m ) m + לכן, מס' המסילות הטובות הוא: + = (m ) ( m + ) הערה: זו הרחבה של מספרי קטלן לסדרות בינאריות מאוזנות של m נלמדה בקורס מבנים בדידים וקומבינטוריקה. אפסים ו- אחדות, שלא אז כעת ניתן לחשב את...P(A)

11 לעיתים מנסחים את הבעיה בצורה שונה במקצת: מניחים ש- m, > ושואלים מה ההסתברות לכך שבמשך כל התהליך למועמד "א" יש ממש יותר קולות מאשר למועמד "ב". קל לראות כי ההסתברות היא כלומר התוצאה m m+ m m+, כי פשוט שואלים מה ההסתברות שהקול הראשון הוא עבור מועמד "א",, ואז בספירת שאר הקולות נקבל (m ) + (m )+ = m m. m m+ ומעקרון הכפל נקבל את בעיה אחרת היא למעשה מקרה פרטי של הדוגמה הנ"ל "בעיית הקולנוע" יש תור של אנשים לקופת הקולנוע. ל- אנשים יש שטר של, ולשאר שטר של. מחיר הכרטיס הוא, והקופה מתחילה ריקה מכסף. מה ההסתברות לכך שאף-אחד מבעלי שטר של יצטרך להמתין לעודף? + פתרון: כאן m, = ולכן ההסתברות היא, זאת אחת הבעיות שמובילה למספרי קטלן. + ( )

12 הרצאה מס' 9-9 דוגמה: ראובן מטיל מטבע + פעמים ושמעון מטיל אותו מקבל יותר ראשים משמעון? פעמים. מה ההסתברות P(A) שראובן פתרון: דרך א' נשים לב כי + Ω. = נגדיר את A להיות המאורע בו מס' הראשים שקיבל ראובן גדול ממס' הראשים שקיבל שמעון, אז + A = ( i ) ( + ) j i= j=i+ + ( i ) ( + i= j=i+ ) j P(A) = + דרך ב' נגדיר את A להיות המאורע בו מס' הזנבות אצל ראובן קטן או שווה משמעון, ולכן A הוא המאורע בו מס' הזנבות של ראובן גדול ממס' הזנבות של שמעון. מטעמי סימטריה P(A).P(A) = מהגדרות ההסתברות מתקיים = P(A) P(A) + ולכן = P(A).P(A) = הערה: נשים לב כי השימוש בתכונת הסימטריות הביא אותנו לפתרון יותר מהיר ופשוט בדרך ב'. אם היינו מחשבים את הפתרון שקיבלנו בדרך א' היינו מקבלים את אותה התשובה. דוגמה: מגרילים מספר ממשי בקטע [,] = Ω. אנו רוצים להגדיר את פונקציית ההסתברות כך שההסתברות של מאורע תהיה בהתאם לגודלו או ל"אורכו": למאורע פשוט, כלומר לנקודה בודדת, חייבים לתת הסתברות. לקטע כלשהו [,] b] [a, נותנים הסתברות.b a נגדיר את B להיות המאורע בו קבוצת הנקודות בקטע [,] שבפיתוחן העשרוני האינסופי הספרה הראשונה השונה מאפס היא 3 או.7 לדוגמה, B.379 ו- B.. נסתכל על החלוקה של הקטע [,] לקטעים באורך., אז ישנם שני קטעים השייכים ל- B : (.7,.8],(.3,.4]. נסתכל על החלוקה של הקטע [,] לקטעים באורך., אז ישנם שני קטעים השייכים ל- B : (.7,.8],(.3,.4]. אנו שמים לב כי B הוא איחוד של קטעים זרים, כלומר = + P(B). התשובה צפויה, שכן אם + ifiite geometric sum + = ( ) 3 = = 9 נחלק את הקטע לתשע קבוצות בהתאם לספרה הראשונה השונה מ-, הרי סביר כי לכל אחת תהיה הסתברות 9. 9 B היא. בכל רזולוציה של k, כיוון ש- B הינו איחוד של שתיים מהקבוצות האלה, ההסתברות של לכאורה, יש בעיה בדוגמה מכיוון שיש מספרים בעלי פיתוחים שונים =.7. האם B.7? התשובה אינה מוגדרת חד-ערכית, אך אין בכך בעיה מכיוון שקבוצת המספרים בעלי שני

13 פיתוחים היא תת-קבוצה של Q,כלומר בת-מנייה. ההסתברות של הקבוצה הזו הינה לפי תכונת σ- אדיטיביות. הערה: יש גם קבוצות בעלות עוצמת הרצף ℵ שהסתברותן. לדוגמה, תהי C קבוצת המספרים הממשיים בקטע [,] שפיתוח האינסופי לפי בסיס 3 מופיעות רק הספרות או, כלומר זוהי קבוצת קנטור C = { ε 3 + ε 3 + : i ε i =,} set(.)cator נגדיר את D להיות קבוצת המספרים הממשיים, כך שבפיתוחם לפי בסיס 3, הספרות הראשונות הן או. לדוגמה: D = {[, 3 ] [ 3, ]} D C D = {[, 9 ] [ 9, 3 ] [ 3, 7 9 ] [8 9, ]} D C קטעים זרים באורך ). לכן,P(D ולכן כלומר לכל D.D C, הינו איחוד של ( = ) 3 ) 3 ).P(C) ( 3 ) עבור נקבל = P(C) מתקשר ללמת הרציפות שנלמד בהמשך. לסיום דוגמה זו נבהיר עוד כמה נקודות "פרדוקס": המרחב כולו [,] = Ω הוא איחוד כל המאורעות הפשוטים. לכל מאורע פשוט הסתברות, ולמרחב כולו הסתברות. הכיצד? העניין הוא שפונקציית ההסתברות היא אדיטיבית על אינסופים בני-מנייה, אך לא מעבר לכך. מתברר שאין אפשרות להגדיר את P על כל תתי- הקבוצות של [,] = Ω, כך שההסתברות של כל קטע תהיה ערכו. לכן באופן כללי מסייגים מעט את ההגדרה. הגדרה: יהי Ω מרחב המדגם. קבוצה F של תתי-קבוצות של Ω המקיימות את הדרישות הבאות:, כלומר האיחוד בן-המנייה גם ב- F = A Ω F לכל A F גם A F אם A F כאשר,, =, אז F...3 תקרא σ -שדה. הקבוצה F מכילה את, Ω וסגורה תחת השלמה, איחוד וחיתוך בני-מנייה. כל מאורע A הוא איבר ב- F הסתברות. דוגמות:, ופונקציית ההסתברות מוגדרת רק על איברי F. השלישייה P,Ω,F נקראת מרחב אם Ω סופית או בת-מנייה, לוקחים בד"כ את F כאוסף כל תת-הקבוצות של Ω. עבור [,] = Ω לוקחים את F בתור σ -שדה הקטן ביותר המכיל את כל הקטעים )נקרא גם שדה בורל.))Borel( מתברר כי קיימת פונקציית הסתברות על σ -שדה זה, כך שהסתברות כל קטע היא אורך הקטע... 3

14 P(A) = S(A) Ω(A) הגדרה גיאומטרית להסתברות הגדרה: עבור מרחבים רציפים מתקיים כאשר ( )S הוא אורך/שטח/נפח/... לפי המימד של המרחב R. דוגמה: שני אנשים קובעים להיפגש בין 8: ל- :. כל אחד מוכן להמתין לשני לכל היותר דקות, ואח"כ פורש. מה ההסתברות שתהיה פגישה? פתרון: נסמן ב- x את זמן ההגעה של האדם הראשון. כל נקודה (y ω =,x) מתארת את זמן ההגעה של שני האנשים. מההגדרה: 5} y. A = {(x, y) x נפתח: y x 5 A = { 5 x y 5} = { y x + 5 S(A) = = 5 5 S(Ω) = 6 P(A) = S(A) 5 5 = S(Ω) 6 = 7 6 4

15 הרצאה מס' 4 דוגמה: המחט של בופון problem( )Buffo's eedle המרחק בין כל זוג של קווים במחברת השורות הוא > L. על המחברת נזרקת באופן מקרי מחט באורך l (l L). מה ההסתברות שהמחט תיגע באחד הקווים? פתרון: נניח AB l. = נסמן ב- ρ את המרחק מהקצה התחתון של המחט עד לקו העליון הקרוב ביותר,. α π ברור כי.x הזוית של המחט עם ציר את נסמן ב- α. ρ ברור ש- L.ρ = AM (α, ρ) α π Ω = { ρ L כלומר אם כך, ניתן להגדיר את מרחב המדגם: B M ρ A α המאורע A שבנידון מתרחש אם"ם AM, BC כלומר ρ}.a = {(α, ρ) l si α ρ L l L Ω ρ = l si α A α נחשב: P(A) = S(A) π ; S(Ω) = π L; S(A) = l si α dα S(Ω) P(A) = l πl = l( cos α π ) = l

16 אם נסתכל על הבעיה באופן הפוך, כלומר נעריך את גודל ההסתברות, זה נותן לנו דרך לחשב את π. תכונות של הסתברות חזרה והרחבה. P( P( i= A i i= A i P(Ω) = P(A) = P(A) i=, P( i= A i ) = כאשר המאורעות זרים בזוגות P(A i ) אם A B אז P(B) P(A) ולכן P(A).P(B\A) = P(B) (A ) = סדרת מאורעות. למת הרציפות: תהי אם 3 A A A )סדרה עולה של מאורעות( אזי ) i = lim P(A ) i אם 3 A A A )סדרה יורדת של מאורעות( אזי ) i = lim P(A ) i א. ב הוכחה: א. נגדיר,3, = i B = A ; B i = A i A i ; אז B i זרים בזוגות, ולכן: A i = B i i= i= i= rule #3 P ( A i ) = P ( B i ) = P(Bi ) = lim P(B i ) i= =P(B ) = lim (P(A ) + P(A ) P(A ) = lim P(A ) i= =P(B 3 ) + P(A ) P(A 3 ) טור טלסקופי i= rule #4 = + + P(A ) P(A )) ב. תרגיל בית. רמז: כללי דה-מורגן והוכחת הסעיף הקודם. דוגמה: מטילים קובייה אינסוף פעמים. מה ההסתברות P(A) לכך שבשום שתי הטלות עוקבות לא תתקבל אותה התוצאה? פתרון: נגדיר את A להיות המאורע שבו התנאי הנידון מתקיים עבור ההטלות הראשונות. לדוגמה, ),,,, (,, = A ω וגם ω A 3 אך.ω A 4 אם A 3 מתרחש אז בהכרח A מתקיים, ולכן מדובר בסדרה יורדת של מאורעות A. A A 3 מהגדרת השאלה: A = A =

17 P(A) = P ( A i i= times ) = lim P(A ) = lim 6 = lim ( 5 6 ) אז מלמת הרציפות: = טענה: B) P(A B) = P(A) + P(B) P(A P(B)=P(A B)+P(B\A) הוכחה: A) P(A B) = P(A) + P(B\A) = P(A) + P(B) P(B בשלושה מאורעות: C) P(A B C) = P(A) + P(B) + P(C) P(A B) P(A P(B C) + P(A B C). i= ) טענה: P( i= A i ) = i= P(A i ) i<j P(A i A j ) + + ( ) P( A i זה אנלוגי לעקרון ההכלה וההדחה וההוכחה באינדוקציה..7 דוגמה: )בעיית המזכירה הרשלנית( למזכירה מכתבים לשלוח לנמענים שונים, ו- מעטפות מתאימות. היא מכניסה את המכתבים למעטפות באופן מקרי. מה ההסתברות P(A) שאף מכתב אינו מגיע ליעדו? פתרון: נגדיר את A i להיות המאורע שבו המכתב ה- i נכנס למעטפה הנכונה, אזי A = A i i= ( )! P(A i ) = =! ( )! P(A i A j ) =! P(A i A i A ir ) = P(A) = P ( A i ) i i < j ( r)!! P ( A i ) = ( ( )! )! i= i= i < i < < i r + + ( ) ( ( )! )! =! + 3! + + ( )( )! P(A) = +! 3! + + ( )! e x = xi i! i= = + x! + x! + x3 3! + ; x R ולכן.P(A) e 7

18 הרצאה מס' 4 הסתברות מותנית מידע חלקי על תוצאות הניסוי עלול לשנות את הערכתנו על ההסתברות של המאורע מסוים. דוגמה: B הוא המאורע שאדם חולה בשפעת; A הוא המאורע שיש לאדם חום. בדרך-כלל.P(B) P(B A) הגדרה: המאורעות,A B שייכים למרחב המדגם P,Ω,F עם.P(A) ההסתברות המותנית של המאורע B, בהינתן שמאורע A קרה, מסומנת P(B A) ומוגדרת על-ידי: P(B A) = P(B A) P(A) הערה: אם =,P(A) אז ההסתברות המותנית (A )P אינה מוגדרת. דוגמה: מטילים קובייה פעם אחת. A הוא המאורע בו מתקבל מס' זוגי; B הוא המאורע בו מתקבל מס' גדול מ- 3 ; C הוא המאורע בו מתקבל מספר קטן מ- 3. P(B A) = P(C A) = P(B A) P(A) P(C A) P(A) = = 6 = 3 ; P(B) = 6 = 3 3 ; P(C) = 3 6 דרך נוספת להסתכל על ההסתברות המותנית היא כך: P,Ω,F הוא מרחב המדגם המקורי עם פונקציית ההסתברות ( )P. אחרי המידע החדש, שהתקבל מהמאורע A, השתנה מרחב המדגם וכעת הוא מרחב מדגם א-פוסטיריורי A), Ω, F, P( כלומר יש פונקציית הסתברות חדשה A), P( וגם.Ω = A בדוגמה הקודמת Ω = A = {,4,6}, B = {4,6}, P(B A) = 3 דוגמה: במשפחה יש שני ילדים. מה ההסתברות לכך ששניהם בנים, אם ידוע שאחד מהם בן? פתרון: A הוא המאורע בו לפחות אחת מהילדים בן; B הוא המאורע ששני הילדים בנים. P(B A) = P(B A) P(A) 8 = 4 = 3 3 4

19 ω = (boy, girl) A = { ω = (girl, boy) } ω 3 = (boy, boy). 3 בדרך אחרת: ולכן ההסתברות P(A) היא הערה: הסתברות מותנית מאוד תלויה בניסוח השאלה, והיא לא תמיד אינטואיטיבית. דוגמה )קרב היריות בין הטוב, הרע והמכוער(: ניסוח מדויק בדפי התרגול, לא הצלחתי לעקוב אחרי הדוגמה כדי לרשום אותה באופן נכון. מסקנה: תחת ההנחה כי P(B) :P(A), P(A B) = P(A) P(B A) = P(B) P(A B) דוגמה: מוציאים שני קלפים ללא החזרתם מחפיסה מלאה. מה ההסתברות לקבל שני נסיכים? פתרון: דרך ראשונה )ישירה( P(A) = ( 4 ) ( 5 = ) 5 5 = דרך שנייה נגדיר את A i להיות המאורע בו הקלף ה- i הוא נסיך כאשר =, i. נגדיר A. = A A לכן: P(A) = P(A A ) = P(A ) P(A A ) = = נוסחת הכפל יהיו A, A,, A מאורעות במרחב ההסתברות P, Ω, F, כך ש- ) i. P( i= A אז: P(A A A ) = P(A ) P(A A ) P(A 3 A A ) P(A i= A i ) הנוסחה תקפה גם עבור מספר אינסופי של מאורעות, כלומר

20 P ( A i ) = P(A ) P(A A ) P(A 3 A A ) i= דוגמה: מוציאים מתוך כד, המכיל את האותיות,A,,B,,Z,a,b, z את כל האותיות זו אחר זו ללא החזרתן לכד. מה ההסתברות P(A) לכך שכל אות קטנה תופיע בסמוך לאות הגדולה המתאימה? תוצאה טובה לדוגמה היא ) E,.ω = (B, b, a, A, e, פתרון: נגדיר את A i להיות המאורע בו בפעם ה- i נבחרה בת-הזוג של האות שנבחרה בפעם הקודמת, כלומר בפעם ה-.i אז:.A = A A A 6 מנוסחת הכפל: P(A) = P(A ) P(A A ) P(A 3 A A ) P(A 6 = P(A) P(A A ) P(A 3 A A ) = 6 5 5! = 6 6! 5! 5 i= A i ) 5 P(A 6 i= A i ) דוגמה: בוחרים סדרה אינסופית של מספרים אקראיים בקטע [,].? (i+)? i+ א. ב. מה ההסתברות P(A) לכך שלכל מה ההסתברות P(A) לכך שלכל i, המספר ה- i שנבחר גדול מ- i, המספר ה- i שנבחר גדול מ- פתרון:. A = i= A i A i א. נגדיר את (i+). אז להיות המאורע בו המספר ה- i שנבחר גדול מ- P(A) = P(A ) P(A A ) P(A 3 A A ) = P(A ) P(A ) P(A 3 ) = ( (i + ) ) = lim i= i= = lim i(i + ) (i + ) = lim ( ) ( ) = lim + + = ב. תרגיל בית

21 הרצאה מס' 6 נוסחת ההסתברות השלמה משפט: תהי = H} } סדרה )סופית או אינסופית( של מאורעות במרחב ההסתברות. נניח כי המאורעות H זרים בזוגות ו-. Ω = = H אזי לכל מאורע A באותו המרחב מתקיים: P(A) = P(H ) P(A H ) = הוכחה: P(A) = P(A Ω) = P (A ( H )) = P ( (A H )) = P(A H ) = = P(H ) P(A H ) = = המעבר * נובע מכך שתוצאות החיתוכים זרות בזוגות, ולכן יש שוויון ולא אי-שוויון. = הינה דוגמה: בכד יש קוביות: 3 מסוג א', מסוג ב', מסוג ג'. ההסתברות לקובייה מסוג א' ליפול על "" 5 ; לקובייה מסוג ב' הינה ומטילים אותה. מה ההסתברות לקבל? פתרון: נגדיר ; ולקובייה מסוג ג' הינה. מוציאים באקראי קובייה אחת מן הכד 6 א,ב,ג =,{קובייה מסוג H = { 3 P(A) = P(H ) P(A H ) = = 4 = דוגמה: שני שחקנים מטילים כל אחד קובייה )בו-זמנית( שוב ושוב, עד שאחד מהם מקבל "", והשני תוצאה אחרת. מה ההסתברות שבדיוק ב- k מן השלבים שני השחקנים קיבלו ""?

22 = H פתרון: נסמן ב-( P(B k את ההסתברות שבנידון, כאשר k. N דרך ראשונה נסמן ב- H את המאורע שהמשחק נמשך צעדים, כאשר. N אזי = Ω P(B k ) = P(H ) P(B k H ) = ( ) = P(H ) = ( 6 36 ) 36 P(B k H ) = ( k ) p k( p ) k = (המשחק לא נגמר ( P((6,6 p = 36 = 6 ( ) = ( 6 36 ) = 36 ( k ) ( k 6 ) = 35 ( 5k k ) (5 36 ) = = = ( 5 6 ) k = = והמאורעות זרים בזוגות k ( k ) ( 5 36 ) = ( ) למה: עבור כל k שלם אי-שלילי מתקיים ( k ) x k x =, x < ( x) k+ = הוכחה: ( k ) x = x k! k! ( k)! x k = =k = xk k! ( ) ( k + )x k =k k! k! ( x) k+ = x k ( x) k+ = xk בחזרה לדוגמה: k ( ) = k ( 36 ) ( 5 k+ = 36 ) k+ דרך שנייה ניתן היה להסיק את התוצאה הזו בצורה מיידית. יש תוצאות אפשריות בהן לפחות אחת משני השחקנים מקבל "". מכל שאר התוצאות אפשר ניתן להתעלם. בין התוצאות, עבור מתוכן

23 המשחק נגמר, ורק עבור תוצאה אחת הוא ממשיך. ההסתברות ל-( 6,6 ) בכל שלב בו היה "" לפחות פעם אחת היא P(B k ) = ( ) k. לכן: נוסחת בייס )Bayes( בהמשך לדוגמה עם הקוביות בכד מה ההסתברות שיצאה קובייה מסוג א', אם ידוע שהתקבל בהטלה?"" פתרון: הגדרה: משפט בייס כאשר = ( 6 א) P 6) א) P P(6) = (א P(6 (א) P P(6) P(H A) = = = 5 P(H ) P(A H ) P(H ) P(A H ) = = Ω והמאורעות H זרים בזוגות. = H דוגמה )פרדוקס האסירים(: יש שלושה אסירים בכלא של הספינה של קפטן הוק הרשע וונדי, ג'ון ומיכאל. קפטן הוק אמר לשומר של הכלא את מי הוא מתכוון להרוג מחר, ואת השאר לשחרר. וונדי שמעה על-כך, וביקשה מהשומר שיגלה לה מי הולך למות מחר, אך השומר מסרב לשתף פעולה. נגדיר את W להיות המאורע בו וונדי תוצא להורג; J כנ"ל עבור ג'ון; M כנ"ל עבור מיכאל. נגדיר את "J" להיות המאורע בו השומר אמר שג'ון ישוחרר. מהם P(W "J")?P(W), פתרון: P(W "J") = = P("J" W) P("J") P(W) = P(J) = P(M) = 3 = = 3 3 P("J" W) P(W) P("J" W)P(W) + P("J" J)P(J) + P("J" M)P(M) 3

24 הרצאה מס' דוגמה: פרדוקס הדלתות Paradox( )Moty Hall עליך לעבור דרך אחת משלוש דלתות. מאחורי האחת יש אוצר, ואילו מאחורי כל אחת משתי הדלתות האחרות מחכה אריה. בחרת דלת, אך טרם עברת דרכה. האם כדאי לך לשנות את בחירתך, אם יצביעו לך בשלב זה על אחת משתי הדלתות הנותרות ויגלו לך שמאחוריה יש אריה? אי-תלות בין מאורעות בדרך כלל ההסתברות של מאורע עשויה להשתנות כאשר מתקבל מידע נוסף, כלומר בדרך-כלל P(B A).P(B) אבל אם אין קשר בין,A B אז ניתן לצפות ש-( P(B )*(. P(B A) = במקרה זה,A B הם ב"ת )בלתי-תלויים(. דוגמה: מטילים קובייה פעמים. נגדיר את A להיות המאורע בו התוצאה הראשונה היא ""; נגדיר את B להיות המאורע בו התוצאה השנייה היא "". 6 A = (, j) ; B = (i, ) j= 6 i= P(B) = 6 ; P(B A) = 6 בהתאם ל-)*(: P(B A) = P(A B) P(A) = P(B) הגדרה: המאורעות A, B ב"ת אם"ם מתקיים P(B).P(A B) = P(A) הערה: נשים לב שבדוגמה יש דרישה כי P(A) כדי שאי-התלות תהיה מוגדרת היטב. בנוסח הנ"ל עוקפים את הדרישה הזו. לעתים, מאורעות נראים תלויים מכיוון שהם "תלויים הגיונית", אבל הם ב"ת סטטיסטית. דוגמה: מטילים מטבע שלוש פעמים. נגדיר את המאורעות: {בשתי ההטלות האחרונות התוצאות זהות} = B ;{בשתי ההטלות הראשונות התוצאות זהות} = A P(A) = = P(B); P(A B) = 3 = 4 P(A B) = = P(A) P(B) ב"ת A, B 4 הסבר: מרחב המדגם Ω עבור A הוא זה: {(), (), (), ()} 4

25 אנו שמים לב כי בחיתוך המאורעות מעוניינים רק בשתי סדרות של הטלות, ולכן הפרופורציה נשמרת בין המאורע B בהסתכלות על Ω לבין B בהסתכלות מצומצמת על Ω, בהינתן מאורע A. טענה: אם,A B מאורעות ב"ת אז גם,A B ב"ת )ולכן גם,A B ב"ת וגם,A B ב"ת(. הוכחה: P(A B) = P(B\A B) = P(B) P(A B) = P(B) P(A) P(B) = P(B) ( P(A)) = P(B) P(A) אי-תלות בין שלושה מאורעות כיצד נגדיר אי-תלות בין שלושה מאורעות,A?,B C קודם כל אנו רוצים ששום מידע על אחד מהם לא ישנה P(B A) = P(B); P(B C) = P(B); P(A C) = P(A) את הסיכוי לשני. במילים אחרות, אנו נרצה: כלומר, נדרוש אי-תלות בזוגות: P(A B) = P(A) P(B); P(A C) = P(A) P(C); P(B C) = P(B) P(C) () אנו רוצים שגם שום מידע על שניים מהם לא ייתן אינדיקציה כלשהי על השלישי. נדרוש: P(C A B) = P(C) P(C A B) P(A B) P(A B C) = P(A) P(B) P(C) () שאלה: אולי תנאי )( גורר את )(? אולי תנאי )( גורר את )(? תשובה: לא! דוגמה נגדית לכיוון הראשון: מטילים קובייה פעמיים. נגדיר את המאורעות: {סכום ההטלות אי זוגי} = C,{תוצאה שנייה אי זוגית} = B,{תוצאה ראשונה אי זוגית} = A P(A) = P(B) = P(C) = P(A B) = = P(A) P(B) 4 () P(A C) = P(A B) = = P(A) P(C) 4 { P(B C) = P(B) P(C) כלומר, התקבל תנאי.)( לעומת זאת, = P(C),P(C A B) = ולכן תנאי )( לא מתקיים. דוגמה נגדית לכיוון השני: מטילים שתי קוביות, אחת אדומה והשנייה כחולה. נגדיר מאורעות:

26 A = האדומה התקבל או { ;{בקובייה B = הכחולה התקבל 3 או 4 או {5 ;{בקובייה C {סכום התוצאות בהטלות הוא 4 או או } = P(A) = 3 ; P(B) = ; P(C) = 6 P(A B C) = = P(A) P(B) P(C) 36 כלומר, תנאי )( מתקיים. אבל: P(B C) = 36 = 8 P(B) P(C) = 6 = הגדרה:,A,B C ב"ת אם"ם מתקיים: P(A B) = P(A) P(B) P(A C) = P(A) P(C) P(B C) = P(B) P(C) וגם P(C) P(A B C) = P(A) P(B) הגדרה: A,, A ב"ת אם"ם לכל i < i < < i r, r מתקים: r r P ( A ij ) = P (A ij ) j= j= הגדרה: סדרה אינסופית של מאורעות ) i (A המורכבת מהמאורעות, i A, A,, A נקראת ב"ת אם לכל מתקיים A,, A ב"ת. תרגילי בית: נתון ש- C,A,B מאורעות ב"ת. האם A,B C ב"ת??C A ב"ת כאשר B, C ב"ת. האם A, B..

27 סדרת ניסויים ב"ת דוגמה: בדרך לאוניברסיטה שלושה רמזורים המרוחקים מאוד זה מזה. ההסתברות לאור ירוק ברמזור הראשון היא 3, בשני ובשלישי 4 הרמזורים. נגדיר "הצלחה" כאור ירוק ברמזור, אזי:. הדרך מורכבת משלושה שלבים שהם ב"ת זה לזה בכלל המרחק בין אם () = ω היא תוצאת הניסוי הגדול, אז = = ).P(ω סדרת ניסויי ברנולי נניח שמדובר בסדרה של חזרות ב"ת על אותו ניסוי בעל שתי תוצאות אפשריות בלבד: "הצלחה" או "כישלון". נניח שההסתברות להצלחה הינה קבועה ולא משתנה בין השלבים. נסמן (הצלחה) P p. = במקרה זה נאמר שלפנינו סדרת ניסויי ברנולי עם הסתברות להצלחה p. אם מס' החזרות הוא, אזי מרחב המדגם הוא אוסף הסדרות הבינאריות באורך מעל {,}. תהי = ω P(ω) = P((x, x,, x )) = p ) (x, x,, x נקודה במרחב המדגם. אז: נגדיר: o. of s i= x i {היו k הצלחות בניסוי} = k A P(A k ) = ( k ) pk ( p) =q o. of s ( p) i= x i k דוגמה: מבצעים סדרת ניסויים כנ"ל עד אשר מגיעים ל- l הצלחות או m כישלונות. מה ההסתברות לכך שהניסוי יסיים ב- l הצלחות? פתרון: 7

28 P(l successes i origial experimet) l+m = P(at least l successes i origial experimet) = ( l + m ) k k=l 8

29 הרצאה מס' דוגמה: )פרדוקס המקבץ או הרצף( במשחק יש שני שחקנים, ומוטל מטבע הוגן פעם אחר פעם. שחקן א' מהמר על המקבץ "", ושחקן ב' מהמר על המקבץ "". השחקן שהמקבץ שלו יופיע קודם מנצח במשחק. האם לשני השחקים אותה הסתברות לזכות? פתרון: ישנם שלושה מצבים: שחקן א' מנצח שחקן ב' מנצח המשחק לא נגמר...3 P() + P() + P(3) = מצב קורה רק אם נקבל את הרצף "" בתחילת המשחק, כלומר = = P("").P() = 4 עבור מצב 3 נגדיר את A i להיות המאורע בו המשחק לא הסתיים עד לשלב ה- i, כולל. מדובר בסדרה יורדת של מאורעות, אז לפי למת הרציפות: P(3) = P ( A i i= ) = lim P(A i ) = lim ( i i i ) = P() = P() P(3) = 4 = 3 4 הערה: אם המקבץ של שחקן ב' הוא "" אז ()P ()P. = משתנים מקריים כאשר מבצעים ניסוי מתעניינים לעיתים קרובות לא בתוצאות המדויקות של הניסוי, אלא רק בערך מספרי הקשור אליו. לדוגמה, בסדרת ניסויים ב"ת ייתכן שנתעניין רק במס' ההצלחות ולא במיקומן בסדרה. הגדרה: גודל מספרי התלוי בתוצאה של ניסוי הוא משתנה מקרי )ההגדרה לא מדויקת(. בצורה יותר פורמלית, משתנה מקרי )מ"מ( הוא פונקציה ממרחב המדגם Ω לקבוצת המספרים הממשיים R, והמילה "משתנה" אינה מדויקת, ונובעת מסיבות היסטוריות. אם X מ"מ, נתעניין במאורעות הקשורות לערכו של A = {X = 3} = {ω: X(ω) = 3} B = {X > 5} = {ω: X(ω) > 5} C = { 4 X < 9} = {ω: X(ω) [ 4,9)} X, לדוגמה: דוגמה: מטופלים מגיעים לחדר-מיון, וחלקם נזקקים לחמצן. נניח שבהסתברות < p < לקוח אקראי זקוק לחמצן. נסמן ב- X את מס' הלקוחות הזקוקים לחמצן מתוך שלושה מטופלים שהגיעו לחדר-המיון. Ω = { ω}

30 i ω i X = X(ω) P(ω) 3 p 3 p ( p) 3 p ( p) 4 p ( p) p( p) p( p) 7 p( p) 8 x i 3 P(X = x i ) = P X (x i ) p 3 3p ( p) 3p( p) ( p) 3 P(X = ) = P ( ω i ) 4 i= P( < X 3) = P(ω: X(ω) (,3]) P(X = x i ) = i P( 3 X.5) = P(ω: X(ω) [ 3,.5]) = ( p) 3 + 3( p) p מכיוון שרוצים לחשב הסתברויות לכך שיתקיימו שוויונים או אי-שוויונים מעין אלה, יש להוסיף להגדרה {X a} = {ω: X(ω) a} F של מ"מ את הדרישה הבאה: לכל a R יתקיים כאשר F היא ה- σ -שדה מהשלשה שמגדירה את מרחב ההסתברות. לדרישה זו קוראים מדידות. לצורך כך משתמשים בסגירות של F תחת איחודים וחיתוכים בני-מנייה והשלמה, מקבלים כי דרישת המדידות גוררת שהקבוצה {I :ω} X(ω) היא מאורע לכל קטע I )כאשר I סגור, פתוח, חצי-סגור, חצי-פתוח, וסופי או אינסופי(. דוגמה: מטילים שלוש מטבעות שוב ושוב, עד אשר שלושתם נופלים על אותו צד. נסמן ב- X את מס' שלבי 3 הניסוי.

31 } { = הצלחה = 4 (הצלחה בשלב בודד) P x i ( 3 4 ) 4 P(X = ) = ( 3 4 ) P(X = ) = = 4 (3 4 ) =, =,,3, 4 = = הגדרה: מ"מ X נקרא בדיד אם הוא מקבל מס' סופי או בן-מנייה של ערכים בלבד. הפונקציה ( ) X P הקובעת את ההסתברות של X לקבל ערך אפשרי, היא פונקציית ההסתברות של X: P X (x i ) = P(X = x i ) = P(ω: X(ω) = x i ) פונקציית ההסתברות מקיימת את הדרישות הבאות: x i : P(X = x i ) > = P(X = x i ) i.. המידע הכלול בקבוצת הערכים ש- X מקבל והסתברויותיהם )עבור X בדיד( הוא חוק ההתפלגות של X. משתנים מקריים בעלי אותו חוק ההתפלגות אינם בהכרח שווים. דוגמה: נניח שמטילים מטבע פעמים. מס' הראשים ב- ההטלות הראשונות ומס' הראשים ב- ההטלות האחרונות הם בעלי אותו חוק ההתפלגות, אך אינם שווים. הגדרה: פונקציית ההתפלגות F X של מ"מ מוגדרת ע"י: F X (t) = P(X t), t R 3

32 הרצאה מס' 3 פונקציית התפלגות פונקציית ההתפלגות של משתנה מקרי X היא.F X (t) = P(X t), t R p = 4, P(X = ) = (3 4 ), =,,3, 4 דוגמה משיעור קודם: זהו גרף ההתפלגות: משפט: תהי F פונקציית ההתפלגות של מ"מ X, אזי: F מונוטונית לא יורדת lim F X(t) = t lim F X(t) = t F X פונקציה רציפה מימין הוכחה: 3

33 . תהיינה :t t F X (t ) = P (X t ) B F X (t ) = P (X t ) A A B P(A) =F X (t ) P(B) =F X (t ) {a } = סדרת ממשיים היורדת ל-, נגדיר את המאורע }.A = {ω: X(ω) a לכן } +.A + = {ω: X(ω) a סדרת המאורעות הינה סדרה יורדת, ולכן למת הרציפות lim F X(t) = lim F X (a ) = lim P(a ) = P ( A ) = P(φ) = t = = אם באותו האופן כמו סעיף קודם. {a } = סדרת ממשיים היורדת ל- a, אזי: lim F X(a ) = lim P(A ) = P ( A ) = P(ω: X(ω) a) = F X (a) אם..3.4 משפט: כל פונקציה שמקיימת את ארבע התכונות הנ"ל הינה פונקציית התפלגות. הסבר: אם X משתנה מקרי בדיד ונתונה פונקציית התפלגות, אז תמיד ניתן למצוא את פונקציית, t < F X (t) = 4, t < 3 4, t < {, t ההסתברות של X. דוגמה: פונקציית ההתפלגות של X נתונה ע"י: מפונקציית ההתפלגות נובע: P(X = ) = P(X ) P(X < ) = F X () F X ( ) = 3 4 = 4 P(X = ) = F X () F X ( ) = P(X = ) = 4 P(X =.8) = F X (.8) F X (.8 ) = = 33

34 תרגיל בית: הוכח כי P(a < X b) = F X (b) F X (a) P(a < X < b) = F X (b ) F X (a) P(a X b) = F X (b) F X (a ) P(a X < b) = F X (b ) F X (a ) הוכחה לדוגמה: P(a X b) = P(X b) P(X < a) = F X (b) F X (a ).3 התפלגויות בדידות מיוחדות התפלגות אחידה: b] X~u[a, כאשר u.a b, a, b Z מסמנת אחידות. ~ מסמנת P(X = x i ) a b a + a + b a + a + b a + התפלגות על משהו. b a + b b a +. P(X = j) = דוגמות: b a +, j = a, a +, a +,, b א. ב. תוצאה X של הטלת אחת של קובייה מפולגת - [,6]u. [,7]u. - הוא מס' היום בשבוע בו נולד אדם באקראי X. התפלגות בינומית: p) X~B(, כאשר [,] p. N, P(X = k) = ( k ) pk ( p) k, k =,,,, כלומר X מפולג כמו מס' ההצלחות ב- ניסויים בלתי-תלויים, בהם ההסתברות להצלחה היא p בכל ניסוי. התפלגות היפרגיאומטרית: b) X~H(, a, ( a k ) ( b P(X = k) = k ), k = max(, b),, mi (a, ) a + b ( ) דוגמה: X מתאים למס' הכדורים הכחולים בהוצאה ללא החזרה של כדורים מתוך כד, המכיל a כדורים כחולים ו- b כדורים לבנים..3 34

35 דוגמה: בבריכת דגים יש דגים, מתוכם 4 דגי רקק. לצורך מחקר חשוב על דגי רקק, ביולוג מוציא שלושה דגים זה אחרי זה לצורך בדיקה. נסמן ב- X את מס' דגי הרקק בדגימה. מצא את פונקציית ההסתברות של X כאשר הדג הנבחר: א. ב. מוחזר מיד חי לבריכה לא מוחזר לבריכה פתרון לסעיף ב': X מתפלג לפי התפלגות היפרגיאומטרית, ולכן = 6 b.. = 3, a = 4, אז: P(X = k) = ( 4 k ) ( 6 3 k ) ( 3 ), k =,,,3 max(, b) = max(,3 6) =, mi(a, ) = mi(4,3) = 3 פתרון לסעיף ב' עם שינוי בשאלה הפעם הביולוג מוציא 8 דגים. אז: X~H(8,4,6), P(X = k) = ( 4 k ) ( 6 8 k ) ( 8 ), k =,,,4 דוגמה: שיכור עושה בכל שלב צעד ימינה או צעד שמאלה בהסתברות שווה של. ידוע כי בין הצעדים הראשונים, היו ימינה ו- 4 שמאלה. כיצד מפולג מס' הצעדים ימינה מתוך הצעדים הראשונים? פתרון: הבעיה שקולה לכך שנשים בכד פתקים, מתוכן "ימינה" ו- 4 "שמאלה", ומוציאים P(X = k) = מהכד פתקים ללא החזרה. לכן בגישה זו X~H(5,6,4) ולכן ( 6 k ) ( 4 5 k ) ( 5 ), k =,,,5 דרך שנייה: בכד הפתקים "ראשונים" ו- פתקים "אחרונים", ומוציאים מהכד פתקים. X~H(6,5,5) P(X = k) = ( 5 k ) ( 5 6 k ) ( 6 ), k =,,,5 לכן: 3

36 הרצאה מס' 4 התפלגויות בדידות מיוחדות המשך התפלגות גיאומטרית: X~G(p) כאשר < p <. P(X = k) = ( p) k p; k =,,3,.4 כלומר X סופר את מס' הניסויים עד להצלחה הראשונה בסדרת ניסויים ב"ת בעלי הסתברות שווה להצלחה.p ברור כי > p p) k ( וגם P(X = k) = p ( p) k = p ( p) = k= k=. התפלגות בינומית שלילית: p) X~B(r, כאשר < p < )כמו בהתפלגות גיאומטרית( ו- R < r. כלומר X סופר את מס' השלבים עד ההצלחה ה- r בסדרת ניסויים ב"ת בעלי הסתברות שווה P (X = r + להצלחה p. אז למעשה נרצה כי r. N מספר כשלונות k מספר שלבים בניסוי r + k ) = ( ) p r ( p) k k עד להצלחה r p הצלחה r r + k = ( ) ( p) k p r ; k =,,, ( ) k במקרה הפרטי = r מתקיים G(p).B(, p) כלומר P(X = + k) = ( p) k p; k =,,, P(X = j) = ( p) j p; j =,,3, אם נקבע j = + k אז: נרחיב: P(X = r + k) = ( r k ) pr ( q) = ( p) k ( ) כלומר r לא חייב להיות שלם, וניתן לרשום את פונקציית ההסתברות בצורה הנ"ל, לאחר ההסבר הבא, שחורג לרגע מהטיפול בפונקציית ההסתברות: = ) k a) כמו שאנו יודעים. למעשה: a! k!(a k)! נתבונן ב-( a). עבור a שלם מתקיים () k ( a k ) = a! a(a )(a ) (a k + ) = k! (a k)! k! () 3

37 כלומר עבור a לא שלם אפשר להשתמש בהגדרה )(. בפרט, a + k (a + k )(a + k ) (a + )a ( ) = k k! כלומר הביטוי נכון גם עבור a לא שלם ו k שלם. נתבונן במקרה שבו נציב : a ( a ( a) ( a ) ( a k + ) ) = = ( )k (a + k ) (a + )a k k! k! = ( ) k a + k ( ) k ולכן אם נסתכל בחזרה על פונקציית ההסתברות של התפלגות בינומית שלילית, מבינים למה יש (q ) k כגורם. מכך יש משמעות לכך ש- r לא שלם. נוכיח כי זו אכן פונקציית הסתברות: נתבונן בצורה ללא q, כלומר צורה )*(. ברור כי ( x) a = ( a i ) ( x)i a i i= P(X = r + k) k= = = ( ) k= > k) P(x = r + לכל,,, =.k מצורה )**( נקבל P(X = r + k) = k= 37 הוכחה: ( r k ) pr ( q) k = p r ( r k ) ( q)k = p r ( q) r p r ( ( p)) r = pr p r = דוגמה: problem( )Baach's match למעשן יש שתי קופסאות גפרורים, אחת בכל כיס, עם N גפרורים בכל אחת. כאשר הוא נזקק לגפרור, הוא מוציא מאחת הקופסאות באקראי. מה ההסתברות P(A) לכך שכאשר לראשונה ימצא קופסה ריקה, יהיו בקופסה השנייה בדיוק S k= גפרורים, S N? פתרון: נגדיר את B להיות המאורע בו הקופסה בכיס השמאלי תמצא ריקה, כאשר בקופסה בכיס הימני יש S הסתברות גפרורים. אז P(B).P(A) = נגדיר "הצלחה" בתור גישה לכיס השמאלי, ולכך יש. אז למעשה B הוא המאורע שבו לפני ההצלחה ה- r -ית, כאשר + N r, = היו בדיוק S N גישות לכיס האחר, כלומר מס' הכישלונות הוא k. = N S נסמן ב- Y את מס' הניסויים )הגישות( עד להצלחה ה- + N. אזי

38 Y~B ( r, p ) N+ ולכן: P(A) = P(B) = P (Y = N + r + N S) k N + + N S = ( ) ( N+ N S ) ( N S ) N S = ( N ) ; S =,,, N S התפלגות פואסון :)Poisso( X~P(λ) כאשר <.λ P(X = k) = e λ λ k ; k =,,, k!. P(X = k) = e λ λ k = e λ λk k! k! k= k= כל הגורמים במכפלה חיוביים. בנוסף: k= Maclauri series for e λ = e λ e λ = ולכן זוהי אכן פונקציית הסתברות. הקשר בין התפלגות פואסון והתפלגות בינומית נניח כי נתונה סדרת התפלגויות בינומיות (p B(, עם p, כך ש- p λ = מס' קבוע. אז סדרת ההתפלגויות הבינומיות תתכנס להתפלגות.P(λ) נניח כי ) λ,x ~B (, אז עבור מתקיים P(X = k) = ( k ) (λ ) k ( λ ) k P(X = k) λk k! e λ ; k =,,, = k ( ) ( k + ) k k! = ( k ) ( ) ( + ) λ k times [ 38 ( λ k ) ( λ ) ( λ k ) λ ] λ λk k! ( λ ) k הוכחה:

39 λ k k! e λ דוגמה: למרכזיית טלפון מסוימת 3 מנויים. ההסתברות שמנוי יחייג דרך המרכזייה בדקה (3, X~B. לכן: נתונה הינה. מה ההסתברות לכך שבמשך דקה נתונה יחייגו בדיוק מנויים? ) פתרון: נסמן ב- X את מס' המנויים שיחייגו במשך הדקה הנתונה. אז P(X = 5) = ( 3 5 ) ( ) 5 ( 99 )95. לפי קירוב פואסוני = 3 p λ = נקבל: P(X = 5) = 35 5! e 3.8 3

40 הרצאה מס' סיכום התפלגויות בדידות מיוחדות P(X = j) = התפלגות אחידה: [b X~u[a, כאשר,a b שלמים b a + מודל: ישנה קבוצה b} {a, a +,, של + a b מספרים שווי סיכוי. X הוא איבר מקרי א. ב. מהקבוצה. התפלגות בינומית: p) X~B(, כאשר שלם, p P(X = j) = ( j ) pj j q = p ג. מודל: X הוא מס' ההצלחות ב- ניסויים ב"ת בעלי הסתברות להצלחה p כל אחד. התפלגות היפרגיאומטרית: b) X~H(, a, כאשר, a, b שלמים חיוביים ( a j ) ( b j ) P(X = j) = ; j = max(, b), max(, b) +,, mi (a, ) a + b ( ) מודל: בכד יש a כדורים מסוג ראשון ו- b כדורים מסוג שני. X הוא מס' הכדורים מהסוג הראשון בדגימה בגודל ללא החזרה של הכדורים הנדגמים לכד. התפלגות גיאומטרית: X~G(p) כאשר < p < P(X = j) = pq j ; j =,, ד. ה. מודל: X הוא מס' הניסויים בסדרת ברנולי עד לקבל ההצלחה הראשונה )כולל(. p הוא הסיכוי להצלחה בניסוי בודד. התפלגות בינומית שלילית: p) X~B(r, כאשר < p < ו- > r r + k P(X = r + k) = ( ) p r q k ; k =,,, k מודל: )עבור r שלם( X הוא מס' הניסויים בסדרת ברנולי עד לקבלת ההצלחה ה- r -ית )כולל(. התפלגות פואסון: X~P(λ) כאשר > λ P(X = j) = λj e λ ; j =,,, j! ו. הערות: ההסתברות מתקבלת בתור גבול של התפלגויות בינומיות ) λ B,) עבור. א. ב. נראה ש- X הוא מס' האירועים בתהליך פואסון עם קצב > λ תוך קטע זמן באורך. 4

41 תהליך פואסון בעזרת התפלגות פואסון אפשר לבנות מודל לזרם אירועים. דוגמות: מס' האנשים המגיעים למקום מסוים תוך קטע זמן (t,] מס' הקלקולים של מכשיר חשמלי תוך קטע זמן (t,] מס' קריאות במרכזייה טלפונית תוך קטע זמן (t,]...3 נסמן ב-( N(t את מס' האירועים בקטע זמן (t N(t),]. הוא מ"מ ו- > t הינו מספר ממשי קבוע כלשהו. טענה: אם N(t) מקיים דרישות מסוימות )שתוגדרנה בהמשך(, אזי P(N(t) = k) = e (λt)k λt ; k =,,, k! כלומר, ההסתברות ל- k אירועים בקטע הזמן (t,]. במילים אחרות,.N(t)~P(λt) N(t) נקרא תהליך פואסון עם קצב > λ.)poisso process with rate λ( המשמעות של הפרמטר λ: אפשר להוכיח ש- λ הינו "מספר ממוצע" של אירועים תוך יחידת זמן. כעת נפרוט את הדרישות אותן ציינו בטענה:.N() = א. מס' האירועים המתרחשים בקטעי זמן זרים בזוגות הינם ב"ת, כלומר אם,] (t הוא מס' האירועים בקטע הזמן N(t).. ב. N(t) N(t + s) הוא מס' האירועים בקטע הזמן s) [t, t + אז N(t) N(t), N(t + s) ב"ת assumptio(.)idepedet icremet ההסתברות של מס' האירועים המתרחשים בקטע זמן נתון תלויה רק באורך הקטע, ולא במיקום של הקטע. במילים אחרות: N(t + s) N(t ); [t, t + s) N(t + s) N(t ); [t, t + s).)statioary icremet assumptio( P(N(h)=) lim = λ h h מ"מ בעלי אותו חוק התפלגות.3.4 4

42 P(N(h) ) lim = h h. זאת אומרת ש-) (,)4(,)3 ( מגדירים שבתוך קטעי זמן קטנים מאוד )באורך h( ההסתברות לאירוע אחד היא בערך,λh וההסתברות לשני אירועים או יותר היא. נראה שאם N(t) מקיים את הדרישות הנ"ל, אז :N(t)~P(λt) נחלק את הקטע (t,] ל- תתי-קטעים זרים שווי-מרחק. נסמן ב- y את מס' תתי-הקטעים של (t,] שבהם מתרחשים אירועים. עבור מספיק גדול, לפי )3(, מכיוון שתתי-הקטעים שווי-אורך, חוק ההתפלגות של מס' האירועים בכל תת-קטע זהה. לפי )4(,)( בכל תת-קטע יכול להתרחש בהסתברות חיובית אירוע אחד )לפי )4( ההסתברות לאירוע λt ) או שום אירוע λt (, כי ההסתברות לשני אירועים או יותר באותו תת-קטע בעל אורך קטן מאוד שווה ל- )בהסתברות. יתרה מכך המאורע שאירוע מתרחש בתת-קטע אחד ב"ת במאורע שהאירוע יתרחש בתת-קטע אחר )כי הקטעים זרים בזוגות(. לכן: B (, λt מתכנסת ) B (, λt ) ~y עבור מספיק גדול = ),P(N(t) = y ומכיוון שסדרת ההתפלגויות בינומית, להתפלגות פואסונית עם פרמטר.N(t)~P(λt) ומקבלים כי, λt = λt דוגמה: מכונה מתקלקלת במשך עבודתה לפי תהליך פואסון עם קצב ההסתברות לכך שבמשך שעות לא יהיו קלקולים? פתרון: = λ קלקולים בשעה. מה t = 5, λ = N(5)~P ( 5) P(N(5) = ) = e.5.5! = e.665 4

43 תוחלת תוחלת היא מושג אנלוגי למושג "ממוצע משוקלל". הגדרה: יהי X משתנה מקרי בדיד המקבל את הערכים, x, x בהסתברויות,. p, p אז התוחלת של X, המסומנת ב-( E(X ניתנת ע"י E(X) = x k p k k בתנאי שהטור מתכנס בהחלט, כלומר < k k x k p. הניסוח מותאם הן למקרה בו X מקבל מס' ערכים סופי והן למקרה האינסופי )אך בן-מנייה(. דרישה זו קשורה למשפט של רימן, לפיו אם טור מתכנס בתנאי, הרי ע"י סידור מתאים של איבריו ניתן לקבל טור מתכנס למס' כלשהו, ואפילו לאינסוף. אילו דרשנו התכנסות בלבד, הרי במקרה כזה התוחלת הייתה תלויה בסדר הסכימה של ערכי X. 43

44 הרצאה מס' נזכר בדוגמה של בית-החולים: = p = 3, p =, q = 3 3 x i 3 P(x i ) p 3 3p q 3p q נחשב את התוחלת: E(X) = 3 ( 3 3 ) + 3 ( 3 ) ( 3 ) + ( 3 3 ) = 3 3 = דוגמה: מטילים שתי קוביות שונות. נסמן ב- X את סכום הנקודות בהטלה. מצא את.E(X) פתרון: x i P i E(X) = k P k = 7 k= E(X) מצא את. P (X = ( )k+ דוגמה: X מ"מ בעל פונקציית הסתברות ( = ) )k ; k =,,3, k! E( X ) = k k! ( ) k= E(X) = ( )k+ ( k k! ) k= MacLauri series = e! ( ) = e < = k! ( k ) k= )אם קיימת(. פתרון: לכן התוחלת קיימת. נחשבה: = (e ) = e 44

45 משפט: E(X) = a+b אם [b X~u[a, אז אם p) X~B(, אז E(X) = p E(X) = a a+b אם b) X~H(, a, אז אם X~G(p) אז = E(X) )ולכן דרשנו )p p אם p) X~B(r, אז E(X) = r p אם X~P(λ) אז E(X) = λ הוכחה:. b E(X) = k k=a b a + = = b a + (a + (a + ) + (a + ) + + b) b a + a + b a + b (b a + ) =. P(X=k) E(X) = k ( k ) pk q k = k k ( k ) k= k= pkq k =( k ) k= = סכום הסתברויות של B(,p) = p ( k ) pk q k = p ( ) p j j q ( ) j = p mi(a,) ( a k ) ( b E(X) = k k ) mi(a,) ( a k ) ( b = k k ) = ( ) a + b k=max(, b) ( ) a + b k= ( ) נגדיר b).m = max(, אם = M אזי b),m = max(, אחרת.M = b אזי עבור b k מתקיים,b + k ועבורם ( b. נמשיך: k ) = j=.3 4

46 ( ) = k= mi(a,) k= k a k (a k ) ( b k ) = a mi(a,) a ( a + b + b (a ) a + b k ) ( b k ) a + b k= ( ) = a a + b mi(a, ) j= ( a b ) ( j j ) a + b ( ) = סכום הסתברויות של H(,a,b) E(X) = kq k p = p q (k ) qk k= k= ifty k= = a a + b = p q q ( q) = p כשהמעבר מטור לביטוי סגור נובע מהלמה שהוכחנו: ( k j ) x j xk = ; x < ( x) j+ r + k E(X) = (r + k) ( r ) pr q k (r + k )! = (r + k) (r )! k! pr q k r r p p k= = r (r + k)! p r+ q k = r + ) + k ((r ) p r+ q k = r p r! k! p k p k= k= = סכום הסתברויות של B(r+,p) E(X) = k e λ λ k = λ e λ λ k = λ e λ λ j k! (k )! j! k= k= j= = סכום הסתברויות של P(λ) = λ.4.. הערה: אם מבינים את סעיפים -, אז קל להבין את סעיף. עבור מספיק גדול סעיף נובע מסעיף.B (, λ ע"י קירוב של משתנה מקרה פואסוני ע"י משתנה מקרי בינומי ) תוחלת של טרנספורמציה h(x) Y = טענה: יהי X מ"מ בדיד המקבל את הערכים, 3 x, x, x בהסתברויות, 3 p, p, p בהתאמה. h(x) Y = טרנספורמציה של מ"מ X )נניח כי h היא פונקציה(, אזי: תהי E(Y) = h(x k ) P(X = x k ) k 4 )אם היא קיימת(.

47 דוגמה: נתון מ"מ X בעל פונקציית הסתברות: x i - P i..3. y j P j.3 נגדיר Y, = X ונחשב את E(Y) בשתי דרכים. דרך ראשונה )ע"פ הגדרה(:.7=.. E(Y) = =.7 דרך שנייה )ע"פ הטענה(: E(Y) = ( ) =.7 הוכחת הטענה: E(Y) = P(Y = y) y = ( P(X = x k )) y y:p(y=y) y k:h(x k )=y שינוי סדר סכימה = ( P(X = x k ) h(x k )) = P(X = xk )h(x k ) y k:h(x k )=y k דוגמה: נתון p) X~B(, עבור.Y = X מצא את.E(Y) פתרון: 47

48 לפי הטענה E(Y) = E(X ) = k ( k ) pk q k k= = k k ( k ) pk q k k= = (j + ) ( ) p j j+ q j j= = p j ( ) p j j q j + p ( ) p j j q j j= תוחלת של B(,p) j= = סכום הסתברויות של B(,p) = p( )p + p = (p) p + p = (p) + p( p) = (p) + pq (E(X)).E(X ) > (p) = תכונה זו נכונה תמיד )פרט למשתנה מקרי קבוע, כלומר, רואים כי שעבורו יש שוויון(. 48

49 הרצאה מס' 9 דוגמה )פרדוקס סנט פטרסבורג(: מטילים מטבע עד שמתקבל "ראש" בפעם הראשונה. אם הניסוי נמשך שלבים, השחקן זוכה ב- )כלומר הזכייה היא X כאשר G(. ) ) X~ א. ב. חשב את התוחלת של הפרס כמה כדאי לך לשלם כדי להשתתף במשחק? פתרון: E( X ) = = = = = א. ב. לכאורה, לכל דמי השתתפות תוחלת הרווח אינסופית, כך שכדאי להשקיע כל סכום. בפועל, ברור כי לא נשקיע סכומים גדולים. אם יכולים לשחק את המשחק פעמים רבות כרצוננו, אז כדאי לשלם סכום גבוה ככל שיהיה )הדבר נובע מחוק המספרים הגדולים(. אם משתתפים במשחק פעם אחת, אין תשובה חד-משמעית לשאלה כמה כדאי להשקיע. אחד הפתרונות הינו לקבוע פונקציית תועלת, שהיא פונקציה סובייקטיבית, הקובעת את "השווי האמיתי" של כל סכום כסף עבור האדם. עבור פונקציה זו יש למקסם את התוחלת. תכונות של תוחלת משפט: אם X מ"מ קבוע, כלומר = c) P(X = עבור c מסוים, אזי.E(X) = c אם X בעל תוחלת ו- a מספר קבוע, אז ae(x).e(ax) = אם X, Y בעלי תוחלת, אזי X + Y גם בעל תוחלת ומתקיים E(Y).E(X + Y) = E(X) במילים אחרות, סעיפים 3, אומרים שהתוחלת הינה אופרטור ליניארי. הוכחה:. נוכיח בהמשך. E(X) = c P(X = c) = c = c E(aX) = (a x k ) P(X = x k ) = a x k P(X = x k ) = ae(x) k k..3 הערה: התכונות נכונות עבור מ"מ כלשהו. 4

50 טענה: אם ההסתברות של X סימטרית סביב ערך a, ו- X בעל תוחלת, אזי E(X) = a הוכחה: נתבונן במ"מ Y Y. = X a בעל תוחלת מכיוון ש- E( Y ) = E( X a ) E( X + a ) = E( X ) + a < ברור ש- Y סימטרי סביב ערך, כלומר (y P(Y = (y = P(Y = לכל ערך y של Y. לכן: E(Y) = y P(Y = y) = y P(Y = y) + ( y) P(Y = y) y y> y> = y P(Y = y) + ( y) P(Y = y) y> y> = y P(Y = y) y P(Y = y) = y> y> Y = X a X = Y + a E(X) = E(Y + a) = E(Y) + E(a) = + a = a הדרישה לקיום E(X) הינה משמעותית. דוגמה )מ"מ סימטרי חסר תוחלת(: נניח כי X מקבל את הערכים: P(X = ) = P(X = ) = c ; =,,3, E( X ) = c = c = = = התוחלת אינה כפלית באופן כללי, דהיינו E(Y).E(X (Y E(X) לדוגמה, עבור (p X~B(, מתקיים.E(X ) E (X) דוגמה: מטבילים מטבע הוגן פעם אחת. נסמן ב- X את מס' הראשים וב- Y את מס' הזנבות. ראש, { = X = p אחרת, זנב, { = Y = p אחרת, E(X) = E(Y) = = P(XY=)= = E(XY)

51 . P(X = ) = c יתרה מכך ייתכן כי,X Y יהיו בעלי תוחלת אבל XY לא. דוגמה: נניח ש- X מקבל את הערכים הטבעיים בהסתברות,, = ; c E(X) = = c < = = E(X ) = c = c = = = ליניאריות התוחלת הינה תכונה שימושית במיוחד, והיא מאפשרת להסתכל על משתנה מסובך כצירוף ליניארי של משתנים פשוטים יותר. דוגמות: p) X~B(, אז.E(X) = p נגדיר מ"מ:. בפעם ה i הייתה הצלחה, X i = { אחרת, i X = X i i= E(X) = E ( X i ) = E(X i ) = p = p i= i= i=.e(x) = r שלם חיובי. הוכחנו כי r p (p,x~b(r, ונניח כי. X = X מספר הניסויים עד להצלחה הראשונה + X + + X r מספר הניסויים עד להצלחה r לכן ~G(p) X i ולכן = ) i.e(x באופן מיידי: p E(X) = E(X ) + + E(X r ) = r p בתור השלב ה- i X i רמז: נגדיר. E(X) = a a+b תרגיל בית: אם (b,x~h(,,a בדוק באותו האופן כי פריט מהסוג הראשון, X i = { אחרת,. P(X i = ) = בדגימה בגודל ללא החזרה. a a+b הוכח כי i ;

52 התכונה החיבורית )3( של המשפט האחרון אינה עובד בהכרח עבור סכום אינסופי של מ"מ כלשהם, כלומר באופן כללי E ( X i ) E(X i ) i= i= דוגמה: שחקן רשאי להמר שוב ושוב על סכום כסף כלשהו. בהסתברות ובהסתברות הוא זוכה בסכום זה, הוא מפסיד את הסכום. נניח כי בהתחלה הוא הימר על, אח"כ על, אח"כ על 4 וכן הלאה, עד שהוא זוכה בסכום כלשהו. נגדיר מ"מ X כזכייה הכוללת של השחקן במשחק כולו. פתרון: = ( =,P(X ולכן =.E(X) נגדיר מ"מ X i כזכייה בסיבוב ה- i, אם הוא יתממש. X - X X i i ( ) i ( ) i ( ) i ( ) i לכן: E(X i ) = X = X i i= E(X i ) = = i= = X כאשר i= i= X i הסיבוב ה i התרחש, X i = { אחרת, לעומת זאת, עבור התפלגות גיאומטרית אם אז:

53 X i P(X i = ) q i P(X i = ) q i E(X i ) = q i ולכן: E(X i ) = q i i= i= = + q + q + = q = p = E(X) 3

54 הרצאה מס' 3 משתנים מקריים רציפים בתופעות מסוימות באופן עקרוני כל ערך ממשי )לפחות בקטע מסוים( עשוי להתקבל. דוגמות: אורך החיים של מנוע מסוג מסוים זמן ריצה של תכנית גובה של ג'ירפה...3 הגדרה: מ"מ X נקרא רציף אם"ם = x) P(X = לכל.x R באופן אינטואיטיבי: יש רצף של ערכים אחרים, כלומר הסיכוי עבור ערך מסוים כלשהו הוא אפס. טענה: X מ"מ רציף אם"ם פונקציית ההתפלגות F X רציפה. x) F X (x) = P(X לכל.x R הגדרה: קשה לטפל במ"מ רציף כלשהו. אנו נתייחס רק לכאלה עבורם F גזירה )פרט ל"מספר קטן" של נקודות(. משתנה מקרי מסוג זה נקרא רציף בהחלט. הגדרה: הפונקציה.X נקראת פונקציית הצפיפות של משתנה f X (x) = (F X (x)) דוגמה: נניח כי מ"מ X מקבל ערכים בקטע [,], כך שההסתברות להשתייך לכל תת-קטע של [,] שווה לאורך תת-הקטע. אזי:, x < F X (x) = P(X x) = { x, x <, x 4

55 עבור תת-קטע כלשהו [,] β] :(α, P(α < X β) = P(X B) P(X α) = F X (β) F X (α) = β α כעת נתבונן בפונקציית הצפיפות: פונקציית ההסתברות גזירה בכל נקודה, למעט ב"פינות" בנקודות, < x < f X (x) = { אחרת,.x {,} בנקודות =, x פונקציית הצפיפות (x) f X אינה גזירה, אבל ניתן להשלים אותה בצורה נוחה, לדוגמה ע"י = () X f X () = f או בצורה אחרת ע"י = () X,f X () = f וזאת מכיוון ש- f X (x) = {, x אחרת, ) = P(X = P(X = ) =. נבצע זאת:

56 F X (x) = x למעשה, מתקיים: f X (t)dt = x = x בדוגמה הנ"ל,,X~u(,) כשהסוגריים העגולים מסמלים התפלגות רציפה. בדרך-כלל מאפיינים מ"מ רציף )בהחלט( ע"י פונקציית צפיפות. דרישות עבור פונקציית הצפיפות: x (x) f X לכל - x R נובע מכך ש- F X לא יורדת. f X (t)dt = F X (x) lim F X(x) = f X (t)dt = x (x) f X אינטגרבילית ב- R - מכיוון ש-, מכיוון ש- f X (t)dt =...3 דוגמה: א. בדוק ש- x, x f X (x) = { אחרת, הינה פונקציית צפיפות. ב. מצא את פונקציית ההתפלגות המתאימה לה, וחשב את (.5) X F. X,(.5) F x כך ש- = ) (x,f X כלומר את החציון. מצא ג. פתרון:

57 f X (x) dx F X (x) = x = x dx = x =, x < f X (t) dt = { x, x <, x א. ב. ג. F X (x ) = (x ) = x = = f X (x) dx π = c si(x) dx P ( π 4 X 3π 4 ) = F X ( 3π 4 ) F X ( π 4 F X (t) = t c si(x), x π f X (x) = { אחרת, f X (x) dx = si(x) dx ( ) = [ cos 3π 4 ( cos π )] = 4 t דוגמה: למ"מ X יש פונקציית צפיפות מהצורה.P (π X 3π מצא את c וחשב את ) 4 4 פתרון: = c ( cos(x)) π = c [ ( ) + ] = c c = ) = F X F X ( 3π 4 ) F X ( π 4 ) = ( ) = ( cos(x)) t = ( cos t) טבלת אנלוגיות בין התפלגויות בדידות לרציפות רציף בדיד P(X = x).x לכל ערך P(X = x) = P(x X x + dx) f X (x) dx נובע מסכום רימן F X (t) = P(X t) = P(X = x) x t F X (t) = P(X t) = t f X (x) dt 7

58 התפלגויות רציפות מיוחדות התפלגות אחידה רציפה - b),x~u(a, כאשר.a < b R, x < a x a F X (x) = { b a, a x < b, x b f X (x) = { b a, a < x < b, אחרת לפונקציית ההתפלגות יש את הצורה הבאה: פונקציית הצפיפות: דוגמה: אוטובוס מגיע לתחנה בכל דקות. נסמן את זמן ההמתנה לאוטובוס עבור אדם מסוים במ"מ.X חשב את 3.5) X.P( פתרון: סביר להניח כי.X~u(,) אז:. P( X 3.5) = F X (3.5) F X () = =.9 8

59 הרצאה מס' 4 4 המשך התפלגויות רציפות אחידות התפלגות מעריכית -,X~Exp(λ) כאשר < λ R. לפונקציית ההתפלגות יש את הצורה, x < F X (x) = { e λx, x, x < f X (x) = { λe λx, x הבאה: פונקציית הצפיפות היא מהצורה הבאה:. מודל: נניח ש-( Y(x הוא מס' האירועים לאורך קטע זמן (x,] המקיים את הדרישות של תהליך פואסון. λ היא תוחלת האירועים באורך יחידת זמן אחת. הנחה: Y(x)~P(λx) P(Y(x) = k) = e λx (λx) k ; k =,,, k! נגדיר מ"מ X להיות זמן ההמתנה עד להתרחשות האירוע הראשון. אז:, x < F X (x) = P(X x) = {?, x F X (x) = P(X > x) = P(Y(x) = ) = e λx (λx) = e λx! וזאת משום שבקטע (x,] לא מתרחש שום אירוע. לכן:, x < F X (x) = P(X x) = { e λx, x חוסר זיכרון ישנה תכונה מיוחדת של "חוסר זיכרון": לכל > t, t מתקיים P(X t + t X t ) = P(X t ) הערה: התכונה הזו מתאימה להתפלגות רציפה מעריכית. אם מדובר בפונקציית התפלגות לא P (X t + t A רציפה, כלומר בדידה, אז זה מתאים עבור פונקציית התפלגות גיאומטרית. X t ) = P(X t + t X t ) P(X t ) = B P(X=t +t )= P (X t + t ) P(X t ) = ( e λ(t +t ) ) ( e λt ) = e λ(t +t ) e λt = P(X t + t ) P(X t ) = F X(t + t ) F X (t ) נוכיח זאת: = e λt = P(X t ) דוגמה: נתון.X~Exp() מצא את:

60 מצא את 4) 6 X P(X < x כך ש- = ) (x F X )חציון(. א. מצא ב. פתרון: P(X < 6 X 4) = P(X 6 X 4) = P(X ) = ( F X ()) = F X () = e = e א. ב. e x = = e x x = l = l התפלגות גמה - λ),x~γ(α, כאשר < α, λ R. אם α = שלם חיובי, אזי פונקציות, x < f X (x) = { λ ( )! x e λx, x הצפיפות היא כזו: הערה: ברור שמתקיים Exp(λ).Γ(, λ).3 מודל: נסמן ב-( Y(x את מס' האירועים בקטע הזמן (x,]. נניח ש-( Y(x)~P(λx. נגדיר מ"מ X להיות זמן ההמתנה עד לאירוע ה-, כולל או לא כולל )בהתפלגות רציפה = (k.)p(x =, x < F X (x) = P(X x) = {?, x F X (x) = P (X > x) = P(Y(x) = k) = (λx)k e λx k! ( ) k= k= f X (x) = (F X (x)) = ( (λx)k e λx ) = ( e λx (λx)k e λx ) k! k! k= k= = λe λx + λ (λx)k e λx λ (λx)k k! (k )! e λx k= = λ (λx)k e λx λ (λx)j k! j! k= = λ ( )! x e λx j= k= e λx = λ (λx) e λx ( )! הערה: מהמודל ברור כי אם ~Exp(λ) X i ב"ת, אז,X = X + X + + X כלומר:

61 X הוא זמן ההמתנה עד לאירוע ה- ; X הוא זמן ההמתנה עד לאירוע הראשון; X הוא זמן ההמתנה עד לאירוע השני מההתחלה; וכן הלאה. דוגמה: התוחלת של מס' התקלות במשך יום מסוים היא = 3 λ. מה ההסתברות שהתקלה השנייה תקרה במהלך היום השני לעבודה? פתרון: יהי X מ"מ המסמן את זמן ההמתנה )בימים( עד לתקלה השנייה..X~Γ(,3) P( < X ) = F X () F X () = (3 )k e 3 ( (3 )k e 3 ) k! k! k= k= Γ() = e x x dx יש מס' פונקציות מיוחדות, שאחת מהן היא פונקציית גמה המוגדרת באופן הבא: =! Γ(α) = e x x α dx Γ() = e x dx = e x = =! = u = x dv = e x dx du = dx v = e x = x( e x ) = Γ(3) = =!, Γ(4) = 6 = 3!, + e x dx =Γ()= = באותו אופן: כלומר: Γ(k) = (k )! Γ(α + ) = α Γ(α) אפשר לחשב בצורה מדויקת: Γ ( ) = π Γ ( 3 ) = Γ ( ) = π Γ ( + ) = ( ) Γ ( ( )( 3) 5 3 ) = π אם α = אז פונקציית הצפיפות היא:

62 = f X (x) dx = Γ(α), x < f X (x) = { λ ( )! x e λx, x, x < f X (x) = { λ α Γ(α) xα e λx, x עבור > α ממשי פונקציית הצפיפות היא: = λα Γ(α) xα e λx dx = Γ(α) (λx)α e λx d(λx) tα e t dt Γ(α) = t α e t dt נבחין: עוד מקרה מיוחד: () Γ (, ) = χ "התפלגות כי )האות היוונית( בריבוע עם דרגות חופש".

63 הרצאה מס' 6 6 תוחלת של משתנה מקרי רציף הגדרה: יהי X משתנה מקרי רציף )בהחלט( בעל פונקציית צפיפות f. X התוחלת של X ניתנת ע"י: E(X) = x f X (x) dx בתנאי שהאינטגרל מתכנס בהחלט. נחזור לטבלת האנלוגיות בין התפלגויות בדידות ורציפות: רציף בדיד P(X = x).x לכל ערך P(X = x) = P(x X x + dx) f X (x) dx נובע מסכום רימן F X (t) = P(X t) = P(X = x) x t E(X) = x P(X = k) x F X (t) = P(X t) = t f X (x) dt E(X) = x f X (x) dx בתנאי שהאינטגרל מתכנס בהחלט בתנאי שהטור מתכנס בהחלט דוגמה: מצא את התוחלת של מ"מ X בעל פונקציית הצפיפות הבאה: si(x), x π f X (x) = { אחרת, π E(X) = x u = x dv = si(x) dx si(x) dx = du = dx v = cos(x) = π [ x cos(x) π + cos(x) dx = [π + si(x) π ]] = π דוגמה: נניח כי X מ"מ רציף בעל פונקציית הצפיפות הבאה: 3

64 c c f X (x) = { x x, x x x, x = c, x x x אחרת, אחרת, { c פונקציה זוגית E( X ) = x x x dx = [ x ] = כאן התוחלת של X לא קיימת. משפט: E(X) = a+b אם (b X~u(a, אז אם X~Exp(λ) אז = E(X) λ אם λ) X~Γ(α, אז E(X) = α λ...3 הוכחה: b E(X) = x b a dx a E(X) = λ x λe λx dx λ, x < f X (x) = { λ α Γ(α) xα e λx, x E(X) = λ α = b a x a b = b a (b a a + b ) =, x < f X (x) = { λe λx, x x Γ(α) xα e λx dx = = = λ t e t dt Γ(α + ) λγ(a) Γ(α + ) α Γ(α) = λγ(a) λγ(a) = α λ = λ Γ() = λ λα+ x (α+) e λx Γ(α + ) =צפיפות של מ"מ Γ(α+,λ) dx...3 הערה: אם X מ"מ רציף בעל פונקציית צפיפות ניתנת לחישוב ע"י: Y מ"מ רציף, אז התוחלת של הוא כך ש- Y Y = ו-( g(x f X 4

65 E(Y) = g(x) f X (x) dx E(Y) = y f Y (y) אם היא קיימת, כלומר אם האינטגרל מתכנס בהחלט. צפיפות של Y dy בדרך שנייה דוגמה: נניח כי.X~u(,) נגדיר מ"מ Y. = X חשב את.E(Y) E(X ) = x צפיפות של X dx = 3 פתרון: בדרך הראשונה נקבל: כדי לחשב בדרך השנייה, צריך ללמוד פרק חדש. טרנספורמציה של משתנה מקרי הגדרה: נניח כי X מ"מ בעל פונקציית התפלגות F, X ו-( ) g פונקציה ממשית. נתבונן במ"מ "חדש" X. שנקרא הטרנספורמציה של מ"מ המקורי Y, = g(x) שאלה: מצא את פונקציית ההתפלגות של Y, כלומר (y) F. Y אם Y רציף )בהחלט( מצא את פונקציית הצפיפות של Y....f Y ו- F Y, t < F Y (t) = P(T t) = {?, t < 3, t 3 דוגמה: נניח כי.X~u(,) נגדיר Y. = 3X מצא את פתרון: ברור כי.Y~u(,3) נבדוק זאת באופן פורמלי:? = P(3X t) = P (X t 3 ) = F X ( t 3 ) = t 3 f Y (t) = { 3, t 3 אחרת,

66 דוגמה: נניח כי.X~u(,) נגדיר מ"מ.Y = l x מצא את.f Y F Y (t) = P(Y t) = {?, t >, t, x < F X (x) = { x, x <, x? = F Y (t) = P( l X t) = P(l X t) = P(X e t ) = P(X e t ) = F X (e t ) = e t F Y (t) = { e t, t >, t f Y(t) = { e t, t >, t Y~Exp() פתרון: מסקנה: אם X~u(,) אז ~Exp(). l X הדרך הכללית למציאת פונקציית ההתפלגות של הטרנספורמציה: F X F Y f Y האם ניתן לקצר את הדרך, כלומר f? X f Y משפט: נניח ש- X מ"מ רציף בעל פונקציית צפיפות f X ו- = (b,p(a X עבור,a b סופיים או אינסופיים. בנוסף, g( ) הינה פונקציה מונוטונית על b].[a, נניח כי g(x) Y = ו- = β) P(α Y f Y (y) = f X (g (y)) (g (y)), a y b אזי בשתי הדוגמות הקודמות, g הייתה פונקציה מונוטונית.

67 הרצאה מס' הוכחת המשפט מסוף ההרצאה הקודמת: נניח ש- g מונוטונית יורדת על [b,a]., y < α F Y (y) = P(Y y) = {?, α y < β, y β מאחר ו- g מונוטונית יורדת בקטע [b,a], אז יש לה פונקציה הפוכה g בקטע:? = P(Y y) = P(X g (y)) = F X (g (y)) f Y (y) = (F Y (y)) = { f X(g (y)) (g (y)), α y b אחרת, = { f X(g (y)) (g (y)), α y b אחרת, דוגמה: :X~u(,), Y = l x 7

68 .F Y (y), f Y (y) מצא את.X~u(,), Y = X, x < x + F X (x) = {, x < 3, x F Y (y) = P(Y y) = {, y <?, y <, y דוגמה )מקרה כללי יותר(: נניח כי פתרון: נתון 8

69 y : F Y (y) = P(Y y) = P( X y) = P( y X y) = F X (y) F X ( y) = y + 3 y + = 3 3 y < y < : F Y (y) = P( X y) = P( X y) = F X (y) F X ( ) = y + 3 = y + 3, y < y, y F Y (y) = P(Y y) = 3 (y + ), < y < 3 {, y.f מצא את.X~u(,), Y Y (y) דוגמה )עוד יותר כללית(: נניח ש- X =

70 פתרון: במקרה הזה, Y אינה פונקציה של X, אלא טרנספורמציה. זאת מכיוון של- x X = מתאימים שני ערכים - x ± y = בהסתברויות שוות. ברור ש- Y מקבל ערכים בתחום [, ], ופונקציית הצפיפות שלו זוגית, כלומר ( y) f Y (y) = f Y לכל [,].y בלשון של פונקציית ההתפלגות, הדבר אומר כי t: F Y ( t) = F Y (t) נשתמש בסימטריה זו. כלומר, נסתכל רק על t ונבנה בשימוש הסימטריה עבור < t:, t F Y (t) = {?, t < P( t Y t) = P(Y t ) = P(X t ) = F X (t ) = t 7 עבור < t מתקיים:

71 P( t Y t) = F Y (t) F Y ( t) = F Y (t) ( F Y (t)) = F Y (t) t = F Y (t) F Y (t) = t +, t F Y (t) = F Y ( t) t [,] = ( t) +, t < t, t F Y (t) = t +, t < {, t t, t < f Y (t) = { אחרת, = t מצד שני, עבור t מתקיים: עבור < t נקבל = (t).f Y לכן בסה"כ: משתנה מקרי מעורב דוגמה: X מ"מ בעלי התפלגות.Exp() מצא את פונקציית ההתפלגות של ( mi(x, Y. = Y = g(x) = mi(x, ) P( Y ) = פתרון: 7

72 X~Exp() F X (t) = { e t, t אחרת,, y < F Y (y) = P(Y y) = {?, y <, y? = F Y (y) = P(Y y) = P(X y) = F X (y) = e y, y < F Y (y) = { e y, y <, y הגדרה: אם X לא רציף ולא בדיד אז הוא נקרה משתנה מקרי מעורב. דוגמה: ההסתברות שנורת חשמל פגומה היא.. אם היא לא פגומה, אז זמן החיים שלה הוא.Exp() אם היא עובדת יותר משנתיים, אז מחליפים אותה בכל מקרה. נסמן ב- X את זמן העבודה של הנורה. מצא. = פגומה) P (נורה = P(X = ), P(X < ) = x < : F X (x) = P(X x) = P(X = ) + P( < X x) = P(X = ) נורה פגומה =.9e x + P(X > ) P(X x X > ) נורה לא פגומה 7 =. +.9( e x ) את (x).f X פתרון:

73 x : F X (x) = P(X x) =, x < F X (x) = {.9e x, x <, x תוחלת של משתנה מקרי מעורב אם X משתנה מקרי מעורב, אז לא קיימת פונקציית הסתברות ל- X )כי X לא בדיד( ולכן לא ניתן לחשב את. E(X) = k בנוסף, לא קיימת פונקציית צפיפות ל- X, ולכן לא ניתן התוחלת לפי הנוסחה k) x k P(X =. E(X) = לחשב את התוחלת לפי t f X (t) dt למרות זאת קיימת פונקציית התפלגות ל- X, כלומר קיימת (t) F. X מחפשים נוסחה שנותנת את התוחלת E(X) = F X (u) du של מ"מ רציף/בדיד/מעורב בעזרת פונקציית ההתפלגות. טענה: התוחלת של X ניתנת לחישוב ע"י + [ F X (u)] du. אם < du F X (u)] [ ו- < du F X (u)] [ 73

74 , x 3 x + F X (x) = {, x < 3 4, x < E(X) = a + b = 3 הרצאה מס' 9 נמשיך לדון בטענה מסוף ההרצאה הקודמת. = דוגמה: נניח כי.X~u(,3) אזי: נבדוק זאת עבור חישוב באמצעות הטענה: F X (u) du 4 = כחול = S = 8 3 = אדום F X (u)]du = S [ 4 3 = 9 8 E(X) = = דוגמה: נניח כי.X~u[,3] X - 9 P(X = k) E(X) = a + b 74

75 , x <, x < F X (x) = 5 { 5, x < E(X) = 5 + ( ) = 5 5 = X, X Y = {.5, < X, < X 3, t < t +, t < 4 t + F Y (t) = 4, t < 3, t <.5 4 {, t.5 דוגמה: נניח כי.X~u(,3) נגדיר: כלומר Y מקבל ערכים בטווח [, ] {.5}. תרגיל בית: הראו כי רמז: 7

76 P(Y = ) = F Y () F Y (.5 ) = 4 4 = 4 P(Y =.5) = F Y (.5) F Y (.5 ) = 4 נחשב את :E(Y) E(Y) = F Y (u) du שטח כחול + [ F Y (u)]du שטח אדום = 8 + ( ) = 5 8 = 4 ריבוע + S טרפז + S דרך נוספת לחישוב התוחלת ניתן לבצע באמצעות התוחלת של הטרנספורמציה: אפשר לחשב את E(Y) E(Y) = g(x) f X (x) dx, x 3 f X (x) = { 4 אחרת, = x 4 dx dx באמצעות,E(g(X)) כאשר X רציף dx = 5 8 E(X) = t f X (t) dt = t f X (t) dt + t f X (t) dt = ( ) I I נוכיח את הטענה מסוף ההרצאה הקודמת: 7

77 I = t f X (t) dt t = t = du t החלפת סדר אינטגרציה = ( du) f X (t) dt = fx (t) dt = [ F X (u)]du t u P(X>u)= P(X u)= F X (u) du באופן דומה יש למצוא את.I רמז:. t = du שונות של משתנה מקרי התוחלת מאפיינת לחלוטין את ההתפלגות רק עבור מ"מ קבוע. בדרך-כלל נרצה לדעת עד כמה הערכים שמ"מ מקבל צפויים להיות קרובים או רחוקים מהתוחלת. התוחלת של מ"מ נותנת לנו מושג לגבי מיקום מרכזו של מ"מ, אך אינה נותנת לנו מושג לגבי מידת הפיזור של ערכי המ"מ סביב מרכזו. כיצד נמדוד את הפיזור של ערכי המ"מ X סביב התוחלת?E(X) = μ נניח שערכיו של המשתנה הם.x μ, x μ,, x μ נתבונן בסטיות של ערכים אלה מהתוחלת, כלומר.x,, x דרך ראשונה סביר למדוד את הפיזור באמצעות ממוצע הסטיות. ליתר דיוק, (μ.e(x נבדוק זאת: E(X μ) = E(X) E(μ) = μ μ = בעיה המדד תמיד שווה לאפס, ולא הגענו לשום תוצאה משמעותית. דרך שנייה "ממוצע" של הערך המוחלט של הסטיות, כלומר ( μ.e( X מסתבר שמדד זה פחות נוח מבחינה מתמטית, מכיוון שערך מוחלט אינו פונקציה גזירה. דרך שלישית ממוצע ריבועי הסטיות, ליתר דיוק V(X).E((X μ) ) = הגדרה: כאשר,E(X) = μ בתנאי ש-( V(X סופי. V(X) = def E((X μ) ) הערה: בכל מקרה השונות אי-שלילית, והיא חיובית ממש אלא אם-כן המ"מ X קבוע. לכן, אם השונות אינה קיימת אז היא "אינסופית". 77

78 הגדרה: סטיית התקן מסומנת ע"י σ, X ומוגדרת בתור V(X) σ. def X = היא נותנת מושג אודות סטיות סבירות של X בתוחלת שלו. דוגמה: X מ"מ בדיד בעל פונקציית ההסתברות הבאה: x k - P k מצא את.V(X) פתרון: E(X) = μ = =.4 V(X) = (.4). + (.4). + (.4).3 + (5.4).4 = 5.64 σ X = 5.64 טענה: (X).V(X) = E(X ) E הוכחה: V(X) = E((X μ) ) = E(X μx + μ ) = E(X ) μe(x) + μ = E(X ) μ + μ = E(X ) μ = E(X ) E (X) 78

79 הרצאה מס' 3 3 חזרה קצרה על שונות של מ"מ:.V(X) = E(X ) E (X) הוכחנו כי.E(X) = μ כאשר V(X) = E((X μ) ).P(X = c) = V(X) = בנוסף,.V(X) X. של מ"מ k נקרא המומנט מסדר E(X k ) (X) E(X ) E תמיד. יש שוויון אם"ם המ"מ X הינו קבוע דוגמה: הוכח כי μ ).σ(x) E( X פתרון: V(X) = E((X μ) ) = E ( X μ ) E (Y) = E ( X μ ) σ(x) = V(X) E ( X μ ) = E( X μ ) Y משפט: עבור ההתפלגויות הבדידות המיוחדות: V(X) = (b a+) אם [b X~u[a, אז ab אם p) X~B(, אז V(X) = pq V(X) = (a+b) אם b) X~H(, a, אז a+b.3 אם X~G(p) אז V(X) = q p. 4.. V(X) = rq. אם p) X~B(r, אז p. אם X~P(λ) אז V(X) = λ עבור ההתפלגויות הרציפות המיוחדות: V(X) = (b a) אם (b X~u(a, אז אם X~Exp(λ) אז = V(X) λ אם λ) X~Γ(α, אז V(X) = α λ.7.8. הערות: במקרה הפרטי,) B, ונקבל אותה תוצאה ) u[,] -.V(X) = 4. 7

80 . V(X) = ab (a+b) (, B H(, a, b) ונקבל אותה תוצאה - a ) a+b במקרה הפרטי אם b) X~H(a + b, a, אז למעשה המ"מ X קבוע ולכן = V(X) לפי המשפט. התפלגות בינומית מקרבת את ההתפלגות הפואסונית עבור p, כך ש- λ.p לכן עבור ההתפלגות הבינומית p). V(X) = p ( =λ..3.4 הוכחה:. E(X) = a+b נתבונן:. אם b] X~u[a, אז b E(X ) = k = ( k k ) = (S(b) S(a )) b a + b a + a =a- b a k=a = b a = = b k= + )(b + ) (b(b 6 a k= (a )(a + )(a + ) ) 6 6(b a ) ((b3 + 3b + b) (a 3 + 3a + a )) b a 6(b a ) ((b + a b + a ) + 3(b + a ) + ) = 6 ((b + a b + a ) + 3(b + a ) + ) = 6 (b + a + ab + b a) V(X) = E(X ) E (X) = 6 (b + a (a + b) + ab + b a) = ((4b + 4a + 4ab + b a) 3(a + ab + b )) = ((b a) + (b a) + ) = ((b a + ) ) קיבלנו קודם: X~B(, p) E(X) = p, E(X ) = (p) + p( p) V(X) = E(X ) E (X) = (p) + pq (p) = pq X~H(, a, b), E(X) = a a ( a + b, P(X = k) = k ) ( b k ), a + b ( ) max(, b) k mi(a, )..3 8

81 mi(a,) ( a E(X ) = k k ) ( b k ) a + b k= ( ) mi(a,) ( a k ) ( b = k(k ) k ) mi(a,) ( a k ) ( b + k k ) a + b k= ( ) a + b ( k= ) mi(a,) = = k= a! (k )! (a k)! ( b k ) (a + b)!! (a + b )! ( )a(a ) (a + b)(a + b ) + a a + b = ( )a(a ) (a + b)(a + b ) + a a + b ( )a(a ) = (a + b)(a + b ) mi(a,) k= mi(a,) k= mi(a, ) j= E(X ( )a(a ) ) = (a + b)(a + b ) + a a + b V(X) = E(X ) E (X) = + a a + b =E(X) ( a k ) ( b ( ) (k ) ) (a + b )! ( )! (a + b )! ( a k ) ( b ( ) (k ) ) a + b ( ) ( a b ) ( j j ) a + b ( ) =סכום התפלגויות של =H(,a,b) a ( )a(a ) + a + b (a + b)(a + b ) ( a a + b ) + a a + b = ab ( (a + b) a + b ). 4 X~G(p), P(X = k) = pq k, k =,,, E(X) = p 8

82 E(X ) = k q k p = k= k= k(k ) q k p + kq k p k= E(X) = ( k ) qk p + q p = p q (k ) qk k= = q p + q + p = p p = + q p k= + p = p q q p 3 + p V(X) = E(X ) E (X) = + q p ( p ) = + q p = q p תרגיל בית.. X~P(λ), P(X = k) = e λ λ k, k =,,,, E(X) = λ k! E(X ) = k e λ λ k = k(k ) e λ λ k + k e λ λ k = e λ λ k λ + λ k! k! k! (k )! k= k= = λ e λ λ j + λ = λ + λ j! j= V(X) = E(X ) E (X) = λ + λ (λ) = λ k= =E(X) k=. 8

83 הרצאה מס' 9 המשך ההוכחה מהרצאה קודמת E(X) = a + b b E(X ) = b a X dx a = = b a X3 3 a b = 3(b a) (b3 a 3 ) 3(b a) (b a)(b + ab + a ) = 3 (b + ab + a ).7 V(X) = E(X ) E (X) = 3 (b + ab + a (a + b)4 ) 4 = (4b + 4ab + 4a 3a 6ab 3b ) = (b ab + a ) = (b a) 8. אחרי שנוכיח את הסעיף הבא, הסעיף הזה הוא בסה"כ מקרה פרטי כאשר = α.. E(X) = α λ E(X ) = x λα x α e λx Γ(α) = dx = Γ(α + ) Γ(α) λ = V(X) = E(X ) E (X) = Γ(α + ) Γ(α) λ Γ(α+)=αΓ(α) (α + )αγ(α) Γ(α) α(α + ) λ α λ = α λ λα+ x (α+) e λx Γ(α + ) =Γ(α+,λ) α(α + ) = λ λ dx שונות ובעיות חיזוי נשאל מהי התחזית הטובה ביותר לערכו של מ"מ X, כאשר ההפסד הכרוך בחיזוי שגוי שווה לריבוע השגיאה המתקבלת. במילים אחרות, אם בתור חיזוי נציע את המספר a כתחזית עבור ערכו העתידי של X, ולמעשה לאחר הניסוי יתקבל ערך x, אז ההפסד נמדד ב- (a x). כיוון שהערך x של X אינו ידוע לפני הניסוי, נחפש את התחזית a ההופכת את הנזק הנמדד ע"י תוחלת ריבוע השגיאה למינימלית. 83

84 משפט: התחזית הטובה ביותר לערכו של מ"מ X, כאשר ההפסד הוא ריבוע השגיאה, ניתנת ע"י התוחלת של המ"מ, כלומר התחזית האופטימלית היא E(X) a. = הנזק )תוחלת ההפסד( במקרה שווה לשונות של.V(X) כלומר,X דוגמה: התחזית הטובה ביותר לתוצאת הטלה יחידה של קובייה היא 3., למרות שזו כלל לא תוצאה אפשרית של הניסוי. במקרה זה הנזק יהיה מינימלי. ) a) = E((X a) ) = E((X μ + μ תוחלת ההפסד = נזק הוכחה: נסמן ב- a את התחזית עבור X, וב- μ את התוחלת של X. = E((X μ) + (X μ)(μ a) + (μ a) ) = E((X μ) ) + (μ a)e(x μ) + (μ a) = V(X) + + (μ a) נרצה למצוא עבור איזה a מתקבל המינימום. מכיוון ש-( V(X לא תלוי ב- a, אז התחזית האופטימלית הינה עבור a, = μ והנזק במקרה זה הינו.V(X) תכונות של השונות V(c) = אם X מ"מ בעל שונות ו- b קבוע כלשהו, אז V(X).V(X + (b = אם X מ"מ בעל שונות ו- a קבוע כלשהו, אז V(X).V(aX) = a נניח כי X, Y מ"מ בעלי שונות. אז Y),V(X + Y) = V(X) + V(Y) + cov(x, כאשר cov(, ) מוגדרת בהמשך הוכחה:. תרגיל בית.. V(X + b) = E (((X + b) E(X + b)) ) = E ((X E(X) + b E(b)) ) = E ((X E(X)) ) = V(X).3 V(aX) = E ((ax E(aX)) ) = E ((a(x E(X))) ) = E (a (X E(X)) ) = a E ((X E(X)) ) = a V(X) 84.4

85 V(X + Y) = E ((X + Y E(X + Y)) ) = E ((X + Y E(X) E(Y)) ) E(X) = μ = E(Y) = ν = E (((X μ) + (Y ν)) ) = E((X μ) + (Y ν) + (X μ)(y ν)) = V(X) + V(Y) + E((X μ)(y ν)) דוגמה: חתול מסכן, עייף וזקן נמצא ליד קיר שעליו מונח נקניק. הסיכוי של החתול להשיג את הנקניק בקפיצה אחת הינו.7. מצא את התוחלת והשונות של מס' הכישלונות של החתול. פתרון: נסמן ב- X את מס' הקפיצות שלו עד להשגת הנקניק, כולל את הפעם האחרונה שבה הוא מצליח. נסמן ב- Y את מס' הגישלונות של החתול. אז X.X~G(.75), Y = E(Y) = E(X ) = E(X) = 4 3 = 3 V(Y) = V(X ) = V(X) = q p = 4 ( 3 = 4 4 ) 9 הגדרה: יהיו,X Y מ"מ המוגדרים על אותו מרחב ההסתברות, ובעלי תוחלות μ ו- ν, בהתאמה. השונות (Y cov(x, ומוגדרת ע"י cov(x, Y) = E((X μ)(y ν)) המשותפת של,X Y מסומנת ע"י טענה: E(X)E(Y).cov(X, Y) = E(XY) הוכחה: cov(x, Y) = E((X μ)(y ν)) = E(XY μy νx + μν) = E(XY) μe(y) νe(x) + μν = E(XY) μν הגדרה: מ"מ X, Y נקראים בלתי-מתואמים אם"ם = Y).cov(X, תכונה נוספת - X,, X מ"מ בעלי שונויות ),V(X ), V(X בהתאמה, אז V ( X i ) = V(X i ) + cov(x i, Y j ) i= i= 8 i<j. אם

86 דוגמה: נניח כי (p.x~b(, הוכח בצורה אחרת כי.V(X) = pq E(X i ) = p + ( p)p הצלחה בפעם ה i, X i = { אחרת, X = X i i= E(X i ) = p + ( p) = p V(X i ) = E(X ) E (X) = p p = pq פתרון: נגדיר מ"מ חדשים: cov(x i, Y j ) = E(X i Y j ) E(X i )E(Y j ) = E(X i Y j ) p Z = X i Y j = {, p, p E(Z) = E(X i Y j ) = p cov(x i, Y j ) = p p = לכל i, ולכן: ab. V(X) = ( (a+b) ) a+b דוגמה: נניח כי (b.x~h(,,a הוכח בצורה אחרת כי האיבר ה i מהסוג הראשון, X i = { אחרת, פתרון: באופן דומה, נגדיר מ"מ לכל i, ונמשיך באותו האופן... P(X i = ) = P(X i = ) = a a + b b a + b דוגמה: הוכח כי לכל i. פתרון: תרגיל בית. 8

87 הרצאה מס' 4 תכונות נוספות של שונות משותפת cov(x, X) = V(X) cov(x, Y) = cov(y, X) ביליניאריות..7.8 cov(ax + bx, Y) = a cov(x, Y) + b cov(x, Y) cov(x, ay + by ) = a cov(x, Y) + b cov(x, Y ) נוכיח את )8(: cov(ax + bx, Y) = E((aX + bx ) Y) E(aX + bx )E(Y) = E(aX Y + bx Y) (ae(x ) + be(x ))E(Y) = ae(x Y) + be(x Y) ae(x )E(Y) be(x )E(Y) = a cov(x, Y) + b cov(x, Y) דוגמה: נניח כי.X~u(,), m, N חשב את ) m.cov(x, X cov(x, X m ) = E(X X m ) E(X )E(X m ) = E(X +m ) E(X )E(X m ) = ( ) E(X k ) = x k dx ( ) = = xk+ k + = k + m m + = m + + m m > פתרון: במצב זה אומרים ש- X m, X מתואמים חיובית. תרגיל בית: הוכח כי Y).cov(aX + b, cy + d) = a c cov(x, המשמעות האינטואיטיבית של (Y cov(x, הסימן של (Y cov(x, אומר: א. אם > (Y cov(x, אז לערכים הגדולים של X "מתאימים" הערכים הגדולים של Y, וגם לערכים הקטנים של X "מתאימים" הערכים הקטנים של Y. כלומר,,X Y מתואמים חיובית 87 או במילים אחרות הם "מסכימים".

88 ב. אם < (Y cov(x, אז לערכים הגדולים של X "מתאימים" הערכים הקטנים של Y, וגם לערכים הקטנים של X "מתאימים" הערכים הגולים של Y. כלומר,,X Y מתואמים שלילית או במילים אחרות הם "לא מסכימים". ג. אם = (Y cov(x, אז אין התאמה כזו בכלל ויש סימטריה. משתנים מקריים רב-מימדיים מושגים בסיסיים לפעמים מתעניינים במס' משתנים מקריים המוגדרים על אותו מרחב המדגם. ניתן לראות מס' משתנים אלה כפונקציה Ω. R k בהמשך נתייחס בעיקר למקרה הדו-מימדי, כלומר = k. הגדרה: מ"מ דו-מימדי (Y,X) הינו זוג סדור של מ"מ המוגדרים על Ω. הערך של זוג סדור שכזה הוא זוג סדור (y,x) של מספרים ממשיים. הגדרה: (Y,X) בדיד אם"ם הוא מקבל מס' סופי או בן-מנייה של ערכים בלבד. ברור ש-( Y,X) בדיד אם"ם,X Y בדידים. דוגמה: מטבע מוטל 3 פעמים. נסמן ב- X את מס' העצים בשתי ההטלות הראשונות, וב- Y את מס' העצים בשתי ההטלות האחרונות. X \ Y y = סה"כ x = P(X = x, Y = y ) = סה"כ 4 4 הגדרה: אם (Y,X) מ"מ בדיד, אז פונקציית ההסתברות המשותפת של,X Y לפיה נקבעים הערכים ) j (x i, y הינה: i, j P X,Y (x i, y j ) = P(X = x i, Y = y j ) = P(ω Ω: X(ω) = x i, Y(ω) = y j ) P(X = x i, Y = y j ) = j i 88

89 אם נתונה פונקציית ההסתברות המשותפת של (Y,X) אז פונקציית ההסתברות השולית של מ"מ X היא: x i P(X = x i ) = P(X = x i, Y = y j ) j באופן דומה: y i P(Y = y j ) = P(X = x i, Y = y j ) i הגדרה: פונקציית ההתפלגות של מ"מ דו-מימדי (Y,X) מוגדרת ע"י x, y R: F X,Y (x, y) = P(X x, Y y) עבור מ"מ בדיד: F X,Y (x, y) = P X,Y (x = x i, y = y j ) x i x,y j y תרגיל בית: מצא את פונקציית ההתפלגות (y F X,Y,x) עבור המ"מ (Y,X) שבדוגמה. תרגיל בית: הוכח כי lim F X,Y(x, y) = F X,Y (, y) = x lim F X,Y(x, y) = F X,Y (x, ) = y lim F X,Y(x, y) = x,y + F X,Y (+, y) = F Y (y) F X,Y (x, +) = F X (x) F X,Y (a b ) F X,Y (a b ) F X,Y (a, b ) + F X,Y (a, b ) = P(a < X a, b < Y b ) W מ"מ דו-מימדי בדיד, ו-= (X, Y) אם. E(h(X)) = i h(x i ) P(X = x i ). E(W) = E(h(X, Y)) = i,j h(x i, y j ) P(X = x i, Y = y j ) עבור מ"מ חד-מימדי X Y) h(x, אזי לדוגמה: E(X)E(Y).cov(X, Y) = E(XY) בנוסף E(XY) = x i y j P(X = x i, Y = y j ) i,j 8

90 הרצאה מס' 44 הגדרה: נניח ש- ) j,p(y = y אזי ניתן להגדיר את פונקציית ההסתברות של X בתנאי ש- Y = y j P(X = x Y = y j ) = P(X = x Y = y j ) P(Y = y j ) P(X = Y = ) = P(X = Y = ) = P(X = Y = ) = המסומנת ע"י ) j P( Y = y לכל ערך x של :X P(X =, Y = ) P(Y = ) 8 = P(X =, Y = ) P(Y = ) למשל, בדוגמה מההרצאה הקודמת: = = 8 = 4 8 = 4 i היא פונקציית הסתברות. במילים אחרות, ( = Y )P הינה פונקציית מתקיים כי ) = i Y P(X = הסתברות לגיטימית הנקראת פונקציית ההסתברות המותנית של X בהינתן = Y. באופן דומה, ניתן גם לחשב את התוחלת המותנית או שונות מותנית בעזרה ( = Y )P. E(X Y = ) = P(X = Y = ) + P(X = Y = ) + P(X = Y = ) = = דוגמה: V(X Y = ) = E(X Y = ) = = משתנים מקריים בלתי-תלויים קודם לכן דיברנו על אי-תלות בין מאורעות. תוך שימוש בהגדרה זו, נאמר שהמ"מ,X Y ב"ת אם כל מאורע הקשור ל- X הוא ב"ת לכל מאורע הקשור ל- Y. הגדרה: אם לכל קבוצות בורל A, B ב- R מתקיים B) P(X A, Y B) = P(X A) P(Y אז הן תקראנה בלתי-תלויות. מתברר כי עבור מ"מ דו-מימדי בדיד (Y,X) התנאי לעיל שקול ל-

91 P(X = x, Y = y) = P(X = x) P(Y = y), x, y R כלומר, המספרים בטבלה של פונקציית ההסתברות המשותפת הם מכפלות המספרים המתאימים בשולי הטבלה. למשל, בדוגמה הקודמת: = P(X =, Y = ) P(X = ) P(Y = ) = 4 4 P X,Y(x, y) = P(X = x, Y = y) = P(X, x, X X = y) = P (X = x, X = y x ) = = 4 = P(X = x, Y = y) דוגמה: אם p) X~B(, ו-( p,y~b(, נמצא את ההתפלגות המשותפת של :Z = X + y k P(Z = k) = P(X + Y = k) = P(X = i, Y = k i) = P(X = i) P(Y = k i) k i= = ( ) p i q i ( i k i ) pk i q (k+i) i= = p k q + k ( + ) k k i= = p k q + k ( i ) ( k i= k i ) טענה: אם X, X ב"ת ו- R h, h : R אזי המ"מ ) Y = h (X ), Y = h (X ב"ת. טענה: אם X, Y ב"ת בעלי תוחלת אז E(Y).E(XY) = E(X) מסקנה: אם,X Y ב"ת אז cov(x, Y) ב"ת אז = X, Y אם E(XY) = E(X)E(Y) במילים אחרות, אי-תלות גוררת אי-התאמה. מסקנה: אם X, Y ב"ת אז = Y).cov(X, שאלה: אם = Y) cov(x, אז האם X, Y ב"ת? פתרון: לא, דוגמה

92 , p = 4 X =, p =, Y = X {, p = 4 X \ Y 4 4 P(X = ) = 4 P(X = ) = P(X = ) = 4 P(Y = ) = P(Y = ) = ברור כי,X Y תלויים. לדוגמה: P(X =, Y = ) = P(X = ) P(Y = ) = 4 לעומת זאת: cov(x, Y) = E(XY) E(X)E(Y) = E(X X ) E(X)E(X ) = E(X 3 ) E(X)E(X ) = כלומר,X Y בלתי מתואמים, אבל תלויים. טענה: אם X מ"מ בעל תוחלת, אזי E(E(X Y)).E(X) = E(X Y = y j ) = h(y j ) E(X Y) = h(y) הוכחה: מתקבל ש-( h(y הוא למעשה מ"מ. נתבונן:

93 E(E(X Y)) = E(h(Y)) = h(y j ) P(Y = y j ) = ( x i P(X = x i Y = y j )) j j i = ( x i P(X = x i, Y = y j ) ) P(Y = y j ) P(Y = y j ) j i = x i P(X = x, Y = y j ) = x i P(X = x, Y = y j ) j i i j = x i P(X = x, Y = y j ) = x i P(X = x i ) = E(X) i j i דוגמה: שני שחקנים מטילים כל אחד קובייה )בו-זמנית( שוב ושוב, עד אשר אחד מהם מקבל "" והשני תוצאה אחרת. נסמן ב- X את מס' הפעמים שמתקבלת התוצאה (6,6). מצא את.E(X), (k X Y = k~b התוצאה המבוקשת מתוך כל פתרון: נגדיר מ"מ Y אורך המשחק. אזי ) 6 הסבבים חוץ מהסבב האחרון, כאשר התוצאה המבוקשת היא מתוך כל התוצאות שלא יביאו לסיום ( Y~G. אזי: המשחק. מתקיים ) 36 E(X Y = k) = (k ) 6 E(X Y) = (Y ) 6 E(X) = E(E(X Y)) = E ((Y ) 6 ) = 6 (E(Y) ) = = קודם לכן בדרך הישירה קיבלנו ( = (k. P(X = במילים אחרות, )k, k =,,,.)X להפטר מהמקרה בו = )כדי X + ~G ( ) E(X) = E(X + ) = E(X + ) = = 3

94 הרצאה מס' 9 4 למה #: אם,X Y מ"מ בעלי שונות, אזי הם בעלי שונות משותפת. הוכחה: נגדיר מ"מ.X = X μ X, Y = Y μ Y E( (X μ X ) (Y μ Y ) ) = E( X Y ) <? ניזכר באי-שוויון הממוצעים: עבור b,a הממוצע ההנדסי קטן-שווה מהממוצע החשבוני - b a X Y = X Y X + Y. נבחר.a = X, b = Y לפי אי-השוויון נקבל: a+b נפעיל את אופרטור התוחלת על שני האגפים: E( X X + Y Y ) = E( (X μ X ) (Y μ Y ) ) E ( ) = (E(X ) + E(Y )) = (V(X) + V(Y)) < למה :# אם X, Y מ"מ בעלי שונות אזי cov(x, Y) σ X σ Y כאשר V(Y).σ X = V(X), σ Y = הוכחה: נגדיר פונקציה h: R R ע"י לכל λ R מתקיים λy).h(λ) = V(X + h(λ) = V(X) + cov(x, λy) + V(λY) = V(X) + λcov(x, Y) + λ V(Y) פרבולה cov(x,y) λ = מתקיים: V(Y) (cov(x, Y)) cov(x, Y) h(λ ) = V(X) + ( ) V(Y) V(Y) (cov(x, Y)) V(Y) בפרט, בנק' המינימום שלה (cov(x, Y)) V(Y) = V(X) V(Y) V(X) (cov(x, Y)) V(X)V(Y) cov(x, Y) V(X)V(Y) למה #9: יהיו,X Y מ"מ לא קבועים אזי: אם Y = ax + b עבור > a ו- b קבוע כלשהו, אזי cov(x, Y) = σ X σ Y. אם Y = ax + b עבור < a ו- b קבוע כלשהו, אזי cov(x, Y) = σ X σ Y. 4

95 .3 בכל מקרה אחר מתקיים אי-שוויון חזק, כלומר cov(x, Y) < σ X σ Y הוכחה: על-סמך ההוכחה של למה # קיבלנו כי cov(x, (Y σ X σ Y הוא חזק, אלא אם = λy) V(X + עבור λ מסויים, כלומר X + λ Y = c כאשר c קבוע. לכן: Y = λ X + c λ ולכן שוויון גורר כי Y, = ax + b עבור,a b קבועים. נתבונן: cov(x, Y) = cov(x, ax + b) = cov(x, ax) + cov(x, b) = a cov(x, X) + = a V(X) cov(x, Y) = sg(a) a V(X)V(X) = sg(a) V(X)V(aX + b) = sg(a) V(X)V(Y) = sg(a)σ X σ Y מקדם המתאם ע"י הגדרה: מקדם המתאם coefficiet( )Correlatio של מ"מ,X Y בעלי שונות מסומן ב-( Y ρ(x, ומוגדר ρ(x, Y) = cov(x, Y) σ X σ Y תכונות: ρ(ax + b, cy + d) = ρ(x, Y), a, c > סימטריה - X) ρ(x, Y) = ρ(y, אינווריאנטיות תחת הזזה ושינוי יחידות מידה ρ(x, Y) ρ(x, Y) = Y = ax + b, a > ρ(x, Y) = Y = ax + b, a < דוגמה: יהי X מס' התוצאות הזוגיות ב- הטלות של קובייה. יהי Y מס' התוצאות באותן הטלות. מצא את Y).ρ(X, פתרון: X~B (, ), E(X) = p =, V(X) = pq = 4, σ X =

96 .Y i ~u[,6] בנוסף,. Y = E(Y i ) = + 6 i= Y i מתקיים. i לכל להיות התוצאה בהטלה ה- i, Y i = 7, V(Y (6 + ) i) = = 35 E(Y) = 7, V(Y) = V ( V(Y i) ) = V(Y i ) + cov(y i, Y j ) i= i= i<j נגדיר מ"מ לכן: כל ה- Y i ב"ת, וראינו בהרצאה הקודמת שזה גורר כי הם לא מתואמים. לכן: V(Y) = V(Y i ) + cov(y i, Y j ) i= i<j σ Y = 35 3 = = 35 cov(x, Y) = E(XY) E(X)E(Y) = E(XY) 7 נחשב את.E(XY) נגדיר מ"מ X i ע"י: תוצאה זוגית בהטלה ה i, X i = { אחרת, i X = X i, Y = Y i i= E(XY) = E (( X i ) ( Y i )) = E ( X i Y i + X i Y j ) i= i= = E(X i Y i ) + E(X i Y j ) i= = ( ) i j i= i= i j X i,y i ב"ת = E(X i Y i ) i= + E(X i ) i j E(Y j ) 7 נגדיר מ"מ Z i = X i Y i לכל i : Z i E(Z i ) = + ( ) = 6

97 ( ) = + ( ) 7 4 ρ(x, Y) = + ( ) = 3 35 > 4 דוגמה: יהי (Y,X) מ"מ מפולג אחיד בתחום החסום במישור ע"י ציר x וגרף הפרבולה y. = x מצא את Y).ρ(X, פתרון: f X ( x) = f X (x) x E(X) = כי המ"מ סימטרי. נגדיר מ"מ Z. = XY מהסימטריה של X והחיובית של Y נקבל כי Z סימטרי ולכן =.E(Z) cov(x, Y) = E(XY) E(X)E(Y) = ρ(x, Y) = טבלת אנלוגיות בין מ"מ דו-מימדיים רציפים ובדידים רציף P X,Y (x, y) = אבל P(x X x + dx, y Y y + dy) f X,Y (x, y)dxdy בדיד P X,Y (x, y) = P(X = x, Y = y) 7

98 הרצאה מס' 94 נמשיך את טבלת האנלוגיות מסוף ההרצאה הקודמת רציף פונקציית התפלגות משותפת: בדיד F X,Y (a, b) = P(X a, Y b) פונקציית התפלגות משותפת: = P(X = x, Y = y) x a,y b F X,Y (a, b) = P(X a, Y b) b a = f X,Y (x, y) dxdy פונקציית צפיפות שולית: פונקציית הסתברות שולית: P(X = x) = P(X = x, Y = y) y,x Y ב"ת אם"ם P(X = x, Y = y) = P(X = x) P(Y = y) P(X = x Y = y) = הסתברות מותנית: P(X = x, Y = y) P(Y = y) f X (x)dx = f X,Y (x, y)dxdy f X (x) = f X,Y (x, y) dy f X,Y (x, y) = f X (x) f Y (y),x Y ב"ת אם"ם צפיפות מותנית של X בתנאי Y: = y f (X Y) (x y) = f X,Y(x, y) f Y (y) עבור המקרה החד-מימדי: b P(a X b) = f X (x) dx a לכן: P(a X a, b Y b ) = f X,Y (x, y) dxdy b a b a f X,Y (a, b) = a b F X,Y(a, b) = (F(a, b) ab ) שוב, עבור המקרה החד-מימדי: E(X) = x f X (x)dx ולכן: E(X) = x f X,Y (x, y)dy dx כי. f X (x) = f X,Y (x, y)dy באותו אופן: 8

99 E(h(X, Y)) = h(x, y)f X,Y (x, y)dxdy דוגמה: פונקציית הצפיפות המשותפת של מ"מ (Y,X) הינה f X,Y (x, y) = { 6xy, x, y, x + y אחרת, מצא את ) (.E האם X, Y ב"ת? x פתרון: E ( x ) = x f X(x)dx = x f X,Y(x, y)dy dx = x 6xy dy dx = x = 6y dy dx = 6 ( y3 3 x ) dx x = t x = t = = dx = dt x = t = = t3 dt f X (x) = f X,Y (x, y)dy x = 6xy dy f X (x) = { x( x)3, x אחרת, x = ( x) 3 dx = 4 = 5 נבדוק האם המ"מ ב"ת: = 6x y3 3 x = x( x) 3

100 f Y (y) = f X,Y (x, y)dx y = 6xy dx f Y (y) = { 3y( y), y אחרת, = 6y x y = 3y ( y) X, Y ב"ת אם לכל x, y R מתקיים (y).f X,Y (x, y) = f X (x) f Y לדוגמה = 3 4,x =, y אז = 3 8 (y) = f X,Y (x, y) f X (x) f Y ולכן X, Y תלויים. דוגמה: פונקציית הצפיפות המשותפת של מ"מ (Y,X) הינה c, x + y 4 f X,Y (x, y) = { x + y אחרת, מצא את Y).c, cov(x, פתרון: B = f X,Y (x, y)dx dy = c dxdy 4 B x + y π = x = r cos θ θ π = y = r si θ r c 4 rdr dθ = c r r si θ + r cos θ r dr dθ π π = c rdr dθ = c ( r3 3 ) dθ = c π 3 dθ π = 4πc 3

101 c = 3 4π cov(x, Y) = E(XY) E(X)E(Y) x, y B: f( x, y) = f( x, y) = f(x, y) = f(x, y) כלומר f X פונקציה זוגית ולכן =,E(X) ובאותו אופן =.E(Y) נגדיר Z = XY ונעבור לקואורדינטות הקוטביות.Y = Z נשים לב כי f( z),f(z) = כלומר Z פונקציה X זוגית ולכן =.E(Z) מכך נקבל כי = E(Z).cov(X, Y) = E(XY) = תרגיל בית: חשב ישירות את ) < Y.cov(X, Y), V(X), P(X + טרנספורמציות של מ"מ ב"ת מקסימום ומינימום של מ"מ ב"ת תזכורת מ"מ,X Y ב"ת אם"ם לכל שתי קבוצות בורל,A B מתקיים P(X A, Y B) = F X,Y (a, b) = F X (a) F X (b) a, b R: f X,Y (a, b) = f X (a) f Y (b).p(x A, Y B) = P(X A) P(X B) עבור b] A = (, a], B = (, נקבל בפרט, נקבל את התנאי הפשוט התפלגות של מינימום ומקסימום של מ"מ ב"ת נניח ש- X,, X מ"מ ב"ת בעלי אותו חוק התפלגות. נסמן ב- F X את פונקציית ההתפלגות של X. i נגדיר מ"מ חדשים: Y = max(x,, X ), Y = mi(x,, X ) F Y = P(Y y) = P(max(X,, X ) y) = P(X y,, X y) ב"ת = (F X (y)) F Y = P(Y y) = P(mi(X,, X ) y) = P(mi(X,, X ) > y) = P(X > y,, X > y) = ב"ת ( F X (y)) התפלגות של סכום של מ"מ ב"ת רציפים

102 נתונים מ"מ,X Y ב"ת בעלי פונקציות צפיפות f, X, f Y בהתאמה. נגדיר מ"מ Z. = X + Y נרצה למצוא את.F Z (z), f Z (z) F X+Y (z) = F Z (z) = P(X + Y z) = f X (u)f Y (z u)du משפט: = f Y (v)f X (z v)dv הערה: הפעולה הנ"ל נקראת קונבולוציה של הפונקציה. f X+Y (z) = f Z (z) = f X (u)f Y (z u)du מסקנה: עבור פונקציות צפיפות מתקיים = f Y (v)f X (z v)dv דוגמה: נניח ש- Y,X מ"מ ב"ת שמתפלגים לפי.Exp(λ) מצא את פונקציית הצפיפות של Z. = X + Y f X+Y (z) = f Z (z) = f X (u)f Y (z u)du = u > o z u > z > u z = λe λu λe λ(z u) du z = λ e λz du = { λ e λz z, z > אחרת,

103 הרצאה מס' 4 34 אי-שוויונים יסודיים בהסתברות אי-שוויון ג'נסן )Jese( משפט: אם X מ"מ בעל תוחלת E(X) ו-( ) g פונקציה קעורה כלפי מעלה,)covex( אזי g(e(x)) E(g(X)) )אם E(g(X)) קיימת(. הגדרה: פונקציה g: R R נקראת קעורה כלפי מעלה אם לכל x R קיים ישר (x) l העובר דרך,x כלומר ) o g(x ) = l(x ולכל x R מתקיים (x).g(x) l דוגמה: נבחר.g(x) = x עבור מ"מ X נקבל (x),e(g(x)) = E(X ), g(e(x)) = E ובכך קיבלנו הוכחה נוספת עבור.V(X) הוכחה: נבחר.E(X) = x אזי קיים ישר l (x) = a + bx העובר דרך,x כלומר = (E(X)) l a + bx g(x) E(a + bx) E(g(X)) g(e(x)) ומקיים g(x) a + bx לכל.x R לכן: a + be(x) = l(e(x)) = g(e(x)) אי-שוויון מרקוב יהי X מ"מ המקבל ערכים אי-שליליים בהסתברות, בעל תוחלת.E(X) אזי לכל > a מתקיים P(X a) E(X) a a, X a Y = { אחרת, הוכחה: נגדיר מ"מ ברור שמתקיים X Y בהסתברות, ולכן E(Y).E(X) נקבל: E(X) E(Y) = a P(X a) + P(X < a) = a P(X a) P(X a) E(X) a נסתכל על קצוות השוויון ונקבל 3

104 כנדרש. אי-שוויון צ'בישב יהי X מ"מ בעל תוחלת E(X) = μ ושונות,V(X) = σ אזי לכל > ε מתקיים P( X μ ε) = P ((X μ) Y P( X μ ε) σ ε ε E(Y) ) x ε = E((X μ) ) ε = σ ε הוכחה: הערות: אי-שוויון מרקוב מעניין רק במצבים בהם.E(X) < a באי-שוויון מרקוב יש שוויון אם"ם X מקבל את הערכים,a בהסתברות. לכן באי-שוויון צ'בישב יש שוויון אם"ם X מקבל רק את הערכים,μ μ +,ε μ ε בהסתברות, כאשר...E(X) = יתקבלו בהסתברות שווה כך ש- μ μ + ε, μ ε נניח ש- X,, X מ"מ ב"ת בעלי אותו חוק התפלגות עם תוחלת μ ושונות σ. נבנה מ"מ חדש E(X ) = E ( X i) = X i = μ = μ V(X ) = V ( X i) = V(X i) + cov(x i, X j ) i= i= i= i= i<j. X = נשים לב: = σ = σ i= X i מאי-שוויון צ'בישב לכל > ε מתקיים P( X E(X ) ε) = P( X μ ε) σ lim P( X μ < ε) = ε במילים אחרות {Z } = מתכנסת לקבוע a בהסתברות אם לכל > ε מתקיים lim P( Z a ε) = 4 הגדרה: סדרה של מ"מ

105 כלומר, קיבלנו שהסדרה } X} מתכנסת ל- μ בהסתברות. זאת גרסה בסיסית של החוק החלש של המספרים הגדולים. דוגמות: אחוז הראשים בסדרה של הטלות של מטבע מתכנס ל- כאשר מס' ההטלות שואף לאינסוף. ממוצע התוצאות ב- הטלות של קובייה מתכנס בהסתברות ל- 3.5 = μ כאשר. נניח שדוגמים מ"מ בעל פונקציית התפלגות מסוימת, התלויה בשני פרמטרים...3.E(X i ) = μ, V(X i ) = σ נניח ש- μ לא ידוע ו- =.σ מצא מה גודל המדגם, כך שבהסתברות. לפחות יתקיים < μ. X פתרון: P( X μ <.5) = P( X μ.5) σ ε = (.5).95 8 יהיו X, X מ"מ בעלי תוחלות,μ,, μ בהתאמה. הגדרה: הסדרה {X } = מקיימת את החוק החלש של המספרים הגדולים אם לכל > ε מתקיים P( X μ ) כאשר. μ = i= μ i הדבר שהוכחנו קודם עבור סדרה של מ"מ שווי-התפלגות אומר סדרת המ"מ האלה מקיימת את החוק החלש של המספרים הגדולים. כפי שאמרנו, ניתן לוותר על חלק מהדרישות, לדוגמה אם X i שווי התפלגות ובלתי-מתואמים, או מתואמים שלילית, אז גם עבורם מתקיים החוק החלש של המספרים הגדולים. התפלגות נורמלית ),X~N(μ, σ כאשר > < μ <, σ. פונקציית הצפיפות היא מהצורה הבאה: f X (x) = (x μ) πσ e σ בצורה גרפית:

106 מתוך: Normal Distributio, Wikipedia e x dx = e x dx = e t t dt F X (t) = P(X t) = t e x dx = π f X (x) dx = t = x x = t = dt = xdx x : t = e t t dt = Γ ( ) = π Γ ( + ) = ( ) Γ ( 3 5 ( ) ) = = π בנוסף: למה: הוכחה:

107 f X (x)dx = = πσ e (x μ) σ dx = x μ t = σ dt = σ dx πσ e t σdt = π e t הרצאה מס' 6 4 המשך הרצאה קודמת נתבונן: dt x : t x : t lemma = π π = ולכן זו אכן פונקציית התפלגות.. E(X) = תרגיל בית: הוכח באופן דומה כי x f X (x)dx = μ, V(X) = σ t נשים לב כי פונקציית ההתפלגות היא. F X (t) = f X (x)dx לא קיימת נוסחה סגורה עבור (t),f X והאינטגרל לא ניתן לחישוב ע"י שיטות אינטגרציה רגילות. אם כן, כיצד ניתן לבצע את החישובים עבור התפלגות נורמלית כלשהי? המקרה המיוחד הוא התפלגות f Z (x) = x π e, f Z (x) = f Z ( x) נורמלית סטנדרטית - (,)N: כלומר זוהי פונקציית צפיפות זוגית. כדי לבצע את החישובים עבור ) N(μ, σ משתמשים בטבלה של פונקציית ההתפלגות הנורמלית הסטנדרטית (,)N. לצורך כך בונים את משתנה התקן: Z = X μ σ ברור כי = V(Z).E(Z) =, 7

108 הטבלה: 8